基于Hadoop的海量车牌图像处理优化技术

来源：计算机技术与发展杂志2018年第10期北京时间：

作者：侯向宁

摘要：Hadoop 集群下每个小文件均占据一个 Block,一方面存储海量元数据信息消耗了大量的 NameNode 内存,另一方面,Hadoop 为每个小文件单独启动一个 Map 任务,大量的时间花费在启动和关闭 Map 任务上,从而严重降低了 MapReduce 的执行速率。 对此,在详细分析已有解决方案的基础上,采用 CFIF 将多个小文件分片打包到大分片中,给每个大分片只启动一个 Map 任务来执行,通过减少启动 Map 任务的数量,提高了处理海量小文件时的效率。 通过设计 Hadoop 图像接口类,继承并实现 CFIF 抽象类,最终完成了对海量图像小文件的处理。 与常规 HDFS、HAR 和 MapFile 方案在 NameNode 内存空间和运行效率方面进行了对比,结果表明,CFIF 在 NameNode 内存占用率和运行效率方面,都有很好的表现。

关键词：海量小文件;Hadoop 分布式文件系统;分片;打包