面向短文本语义分析的标签条件神经主题模型

来源：计算机工程与应用杂志2023年第11期北京时间：

作者：王嫄, 鄢艳玲, 徐茂玲, 胡鹏, 赵婷婷, 杨巨成

单位：1.天津科技大学 人工智能学院，天津 300457；2.普迈康（天津）精准医疗科技有限公司，天津 300000

摘要：无监督机器学习方法中的神经主题模型已被广泛用于自动挖掘文本潜在语义。然而，短文本篇幅有限，文中可用于推断的信息匮乏，模型难以在上下文不充分的情况下正确识别歧义词。为此，提出了一种面向短文本语义分析的标签条件神经主题模型，模型采用变分自编码器架构，在编码器输出的主题分布上引入文本的标签信息，作为主题类别级的语义标识符指导模型过滤与当前主题语义不相关的词、凝练语义并辨识歧义词在主题语境下的准确词义，引导模型推断离散一致的主题。针对短文本应用过程中主题语义分布统计显著有偏的数据特点，在模型训练过程中引入泰勒损失，通过调整泰勒多项式系数建模短文本类别分布不平衡。实验结果表明，该模型不仅能够极大提高短文本主题建模的质量，生成连贯且多样的主题，而且能有效提升下游任务性能。

关键词：神经主题模型,短文本,泰勒损失