LSHBMRPK-means算法及其应用

来源：计算机工程与应用杂志2017年第21期北京时间：

作者：罗 俊，李劲华

单位：青岛大学 数据科学与软件工程学院，山东 青岛 266071

摘要：针对传统的k-means聚类算法在处理大数据时算法时间复杂度极高和聚类效果不佳的问题，提出了LSHBMRPK-means算法，即基于局部敏感哈希函数的MapReduce并行化的k-means聚类算法；针对推荐系统的可扩展性问题，将LSHBMRPK-means应用于基于聚类的协同过滤算法。此外，针对评分数据的稀疏性问题，使用LFM，即隐语义模型，对缺失值进行填充，进而提出了基于LFM的LSHBMRPK-means聚类算法。实验结果表明，LSHBMRPK-means聚类算法提高了聚类效率和质量，基于LFM的LSHBMRPK-means协同过滤算法具有较好的可扩展性，同时解决了因评分数据稀疏导致聚类质量不好的问题。

关键词：大数据,k-means,局部敏感哈希函数,MapReduce,推荐算法