基于Spark的学术研究热点挖掘方法
来源：计算机工程杂志2019年第12期北京时间：
作者：张聪, 易秀双, 朱明浩, 王兴伟
单位：东北大学 计算机科学与工程学院, 沈阳 110819
摘要：通过优化Spark MLlib机器学习库中的隐含狄利克雷分布（LDA）主题模型，提出一种改进的学术研究热点挖掘方法。采用LDA主题模型对学术论文关键词进行建模，利用困惑度确定主题模型的最佳主题个数，并将文档-主题和主题-词概率分布矩阵转化为文档-主题和主题-词评分矩阵。通过计算背景主题与评分矩阵中各主题之间的相似度对主题进行排序，挖掘出学术论文中的研究热点。实验结果表明，该方法能提高LDA主题模型的挖掘效果，有助于发现有价值的学术研究热点主题。
关键词：学术论文,隐含狄利克雷分布,背景主题,主题排序,研究热点
基金资助：国家自然科学基金（61572123）；辽宁省高校创新团队支持计划项目（LT2016007）；赛尔网络下一代互联网技术创新项目（NGII20160616）。
