基于Hadoop的快速并行视频处理方法

来源：计算机测量与控制杂志2015年第12期北京时间：

作者：康 浩,严 华

单位：四川大学 电子信息学院四川 成都 四川大学 电子信息学院 四川 成都

摘要：目前,基于 Hadoop视频处理的传统方法都是通过MapReduce从本地文件系统读取数据,利用帧字节流进行MapReduce间数据传输,这会产生大量的系统 IO,造成系统资源浪费。针对此问题,提出一种基于Hadoop平台的视频处理方法,实现Hadoop支持的视频类型扩展,设计了MapReduce 相关视频数据处理接口,使 Hadoop 可以更快速处理视频文件。通过在多台计算机组成的集群实验表明,该方法在运行时间上比传统方法缩短10%,IO读写量减少50%以上,提升了Hadoop视频文件的处理效率。

关键词：Hadoop;Map-Reduce;并行计算;视频处理;IO读写量

基金资助：国家自然科学(61172181)自助