以LDA为例的大规模分布式机器学习系统分析
来源：计算机应用杂志2017年第3期北京时间：
作者：唐黎哲, 冯大为, 李东升, 李荣春, 刘锋
单位：1. 并行与分布处理国家重点实验室(国防科学技术大学), 长沙 410073;2. 国防科学技术大学 计算机学院, 长沙 410073
摘要：针对构建大规模机器学习系统在可扩展性、算法收敛性能、运行效率等方面面临的问题，分析了大规模样本、模型和网络通信给机器学习系统带来的挑战和现有系统的应对方案。以隐含狄利克雷分布（LDA）模型为例，通过对比三款开源分布式LDA系统——Spark LDA、PLDA+和LightLDA，在系统资源消耗、算法收敛性能和可扩展性等方面的表现，分析各系统在设计、实现和性能上的差异。实验结果表明：面对小规模的样本集和模型，LightLDA与PLDA+的内存使用量约为Spark LDA的一半，系统收敛速度为Spark LDA的4至5倍；面对较大规模的样本集和模型，LightLDA的网络通信总量与系统收敛时间远小于PLDA+与SparkLDA，展现出良好的可扩展性。“数据并行+模型并行”的体系结构能有效应对大规模样本和模型的挑战；参数弱同步策略（SSP）、模型本地缓存机制和参数稀疏存储能有效降低网络开销，提升系统运行效率。
关键词：隐含狄利克雷分布,主题模型,文本聚类,吉布斯采样,变分贝叶斯推理,机器学习
基金资助：国家自然科学基金资助项目（61222205）。
