Hadoop平台下基于优化X-means算法的大数据聚类研究

来源：计算机测量与控制杂志2023年第12期北京时间：

作者：张鹏飞,江岸,熊念

单位：广东农工商职业技术学院

摘要：针对现有聚类方法对数据处理规模的局限性，解决数据聚类效果差的问题，在Hadoop平台的支持下提出基于优化X-means算法的大数据聚类方法。利用Hadoop平台架构与函数采集大数据样本，通过缺失补偿、噪声滤波、归一化等步骤，实现初始样本数据的预处理。选择大数据聚类中心，分别提取聚类中心数据与其他所有数据样本的特征，计算数据样本与聚类中心之间的特征相似度。以相似度度量结果为聚类判定条件，利用优化X-means算法确定数据所属类型，最终实现大数据的聚类处理工作。通过聚类效果测试实验得出结论:在有、无两种实验条件下，与传统聚类方法相比，优化设计方法的查全率和查准率分别提升了4.75%和4.5%，同时优化聚类方法得出数据具有更高利用率。

关键词：Hadoop平台;优化X-means算法;大数据聚类;

基金资助：广东省普通高校重点领域专项(新一代信息技术)课题(2021ZDZX1138)