基于MapReduce与相关子空间的局部离群数据挖掘算法

来源：软件学报杂志2015年第5期北京时间：

作者：张继福,李永红,秦啸,荀亚玲

单位：张继福，太原科技大学 计算机科学与技术学院, 山西 太原 03002411,李永红，太原科技大学 计算机科学与技术学院, 山西 太原 03002402,秦啸，Department of Computer Science and Software Engineering, Auburn University, Auburn, USA03,荀亚玲，太原科技大学 计算机科学与技术学院, 山西 太原 03002404

摘要：针对高维海量数据,在MapReduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种MapReduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.

关键词：局部离群数据;相关子空间;MapReduce;局部稀疏度;概率密度

基金资助：国家自然科学基金(61272263)