结合主题词嵌入和注意力机制的主题模型
来源：计算机工程杂志2020年第11期北京时间：
作者：覃婷婷, 刘峥, 陈可佳
单位：南京邮电大学 计算机学院, 南京 210023
摘要：社交软件的普及使得从海量数字文本中挖掘有效信息成为一个热点问题，经典主题模型LDA和LSA均基于单词共现来捕获主题信息，忽略了单词间的位置信息。为此，设计主题与单词间的注意力机制并将主题信息和单词信息融入到LDA框架中，构建一种主题模型JEA-LDA。该模型通过单词与主题间的注意力机制将单词信息和主题信息融合为特征表示，用于LDA模型的主题提取。实验结果表明，相比LDA、DMM等模型，该模型的主题一致性和分类性能均较高，能够取得更好的主题提取效果。
关键词：主题模型,单词嵌入,主题嵌入,注意力机制,LDA模型
基金资助：南京邮电大学引进人才科研启动基金（NY215045）；南京邮电大学国家自然科学基金孵化项目（NY219084）。
