海量图片快速去重技术

来源：计算机应用杂志2016年第7期北京时间：

作者：韩逢庆, 宋志坚, 余锐

单位：1. 重庆交通大学 数学与统计学院, 重庆 400000;2. 重庆交通大学 信息科学与工程学院, 重庆 400000;3. 重庆交通大学 交通运输学院, 重庆 400000

摘要：针对海量图片中的去除重复图片效率低的问题，提出一种基于图片特征的并行化海量图片快速去重技术。首先，对图片提取图片颜色、纹理、形状等特征，用来全面描述图片；其次，使用度量标准对图片之间的特征距离进行度量计算；最后，利用如果两个点到任意一点距离相等则这两点有可能是同一个点的思想实现根据特征距离对重复图片的快速定位，达到重复图片检测与去重的目的。结合实验数据分析验证该技术不仅能够准确地去重图片，且采用i5四核处理器的单机计算方式仅10 min左右即可处理500万级图片量，与一般的两两计算相比，提高了海量图片去重的时效性，使得计算时间大幅度缩短。

关键词：海量图片,快速去重,并行化,单机计算,图片特征