基于 Spark 平台的 K-means 算法的设计与优化

来源：计算机技术与发展杂志2019年第03期北京时间：

作者：王义武;杨余旺;于天鹏;沈兴鑫;李猛坤

摘要：聚类中心需要手动设置是 K-means 算法最大的问题,而通常情况是并不能确定现实中数据的分类情况。 为了解决这一问题,提出了一种新的 OCC K-means 算法。 不同于传统算法以随机选择的方式产生聚类中心,该算法进行必要的预处理,利用 UPGMA 和最大最小距离算法对数据点进行筛选,得到可以反映数据分布特征的点,并作为初始的聚类中心,以提高聚类的精度。 从两次的实验结果可以对比出,在不同的数据集上,改进算法在衡量聚类效果的准确率、召回率、 F -测量值上的表现要优于传统 K-means 算法。 这是因为 OCC 算法选择的中心点来自于不同的且数据密集的区域,并在筛选的过程中排除了噪声数据、边缘数据对实验的干扰;同时为了契合大数据发展潮流,使用 Scala 语言在 Spark 平台进行了并行化实现,提高了算法处理海量数据的能力,并通过实验指标验证了算法具有良好的并行化能力。

关键词：聚类;聚类中心;K-means;最大最小距离算法;非加权组平均法