改进的数据预处理算法及其应用

来源：计算机技术与发展杂志2015年第12期北京时间：

作者：许必宵;陈升波;韩重阳;马梦环;宫婧

摘要：聚类分析是数据挖掘领域一项重要的课题. 针对重复数据与孤立数据的预处理可以优化聚类结果. 重复数据处理方面,文中在传统的重复数据查找算法SNM的基础上加入了伸缩窗口与变化移动速度的思想,提高了查找的准确率与效率;孤立数据方面,文中提出基于层次聚类分簇搜寻算法,算法利用层次聚类将数据分成独立的簇再依次搜寻孤立点提高了查询速率,并加入恢复检验的部分恢复被误删的非孤立点提高查找的准确率. 实验仿真中,首先抽取部分数据验证了改进后的数据预处理算法的准确性,然后将数据预处理算法用于处理移动用户消费数据后再对数据进行聚类分析,从而达到对客户的归属地信息识别的目的. 实验结果表明,文中提出的预处理算法具有很高的准确率与效率.

关键词：数据预处理;SNM算法;层次聚类;聚类分析