基于MapReduce并行化计算的大数据聚类算法

来源：计算机应用研究杂志2020年第1期北京时间：

作者：张文杰,蒋烈辉,

单位：1.解放军信息工程大学网络空间安全学院,郑州450001；2.数字工程与先进计算国家重点实验室,郑州450001；

摘要：面对大数据规模庞大且计算复杂等问题，基于MapReduce框架采用两阶段渐进式的聚类思想，提出了改进的K-means并行化计算的大数据聚类方法。第一阶段，该算法通过Canopy算法初始化划分聚类中心，从而迅速获取粗精度的聚类中心点；第二阶段，基于MapReduce框架提出了并行化计算方案，使每个数据点围绕其邻近的Canopy中心进行细化的聚类或合并，从而对大数据实现快速、准确地聚类分析。在MapReduce并行框架上进行算法验证，实验结果表明，所提算法能够有效地提升并行计算效率，减少计算时间，并提升大数据的聚类精度。

关键词：大数据,MapReduce,并行计算,数据聚类,

基金资助：河南省基础前沿课题(142300410090)；河南省科技攻关计划项目(162102210035)；；