基于Spark Streaming的视频/图像流处理与新的性能评估方法

来源：计算机工程与科学杂志2015年第11期北京时间：

作者：黄文辉，冯瑞

单位：（1.复旦大学计算机科学技术学院，上海 201203；2.上海视频技术与系统工程研究中心，上海 201203）

摘要：智能视频监控技术在公共安全、交通管理、智慧城市等方面有着广泛的运用前景，需求日益增长。随着摄像头安装的数量越来越多，采集的图像数据量越来越大，靠单台计算机处理已经远远不能满足需求了。分布式计算的兴起与发展为解决大规模的数据处理问题提供了很好的途径。使用一种基于Spark Streaming的视频/图像流处理的测试平台，阐述了平台的构成和工作流程，深入研究各个参数对集群性能的影响，创新性地提出了CPU时间占用率作为性能评估指标，与总的处理时间结合，更为全面反映集群性能和资源利用率。

关键词：Spark Streaming,CPU时间占用率,分布式,视频/图像处理,

基金资助：国家科技支撑计划（2013BAH09F01）；上海市科委科技创新行动计划（14511106900）