基于重叠度与完整度的LDA主题优选方法

来源：计算机工程与应用杂志2019年第12期北京时间：

作者：柏志安1，曾剑平2

单位：1.上海交通大学医学院附属瑞金医院 计算机中心，上海 200025；2.复旦大学 计算机科学技术学院，上海 200433

摘要：以LDA为基础的许多主题模型能够从一定数量的文本中推断出主题个数及主题描述，其存在的问题是主题个数难于确定，也难于决定描述每个主题的特征词汇。针对这个问题，结合LDA与TF-IDF量化的效果，同时考虑对原文本集的涵盖程度以及主题间的独立性，提出了一种Overlap-Completeness得分法的主题区分度优选方法。该方法在LDA建模的基础上，利用TF-IDF获取主题最具代表性的词汇，定义主题词汇间的重叠度、表达的完整度，给出了主题优选的评价方法。最终不仅能得到最佳主题数目，而且还能得到每个主题的最合适的描述词汇。在信息安全新闻文本集上进行了实验研究，结果表明该方法与基本的LDA模型相比，更能选择出有区分度的主题和有代表性的词汇。

关键词：LDA模型,TF-IDF,主题识别,重叠度,完整度