大数据环境下高维数据的快速重复检测方法
来源：计算机研究与发展杂志2016年第3期北京时间：
作者：朱蔚恒,印鉴,邓玉辉,龙舜,邱诗定,
摘要：大数据时代多源、异构、海量的数据正逐渐成为各种应用的主流.多源异构不可避免地会使数据出现重复，同时庞大的数据量对重复检测的效率提出了极高的要求，传统技术在大数据环境下并不能很好地对高维数据进行重复检测，就此问题展开研究，分析了传统SNM类方法的不足，将重复问题概化为一类特殊的聚类问题，利用R-树建立了高效的索引，利用聚类簇的特性减少了在R-树叶子中比较的次数，利用重复检测的Apriori性质实现了对高维数据集并行处理.实验结果表明，提出的算法能有效地提高高维数据的重复检测效率.
关键词：大数据, 高维数据, 数据挖掘, 数据预处理, 重复检测,
