融合双向注意力和对比增强机制的多标签文本分类

来源：计算机工程与应用杂志2024年第16期北京时间：

作者：李建东, 傅佳, 李佳琦

单位：1.辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105；2.辽宁工程技术大学 矿业学院，辽宁 阜新 123000

摘要：现有多标签文本分类模型面对文本序列增长时语义信息缺失，预测特定标签时忽略已有实例中的丰富知识等问题不能很好地解决，由此提出一种融合双向注意力和对比增强机制的多标签文本分类模型。结合BERT词嵌入，利用CTransformer模型分别获取序列的全局依赖关系和局部结构信息；使用双向注意力和标签嵌入进一步生成最终文本表示和标签表示，将文本信息与标签信息进行交互，得到更为全面的综合语义信息；利用对比增强机制进行KNN实例检索，设计一个多标签对比学习目标，使模型意识到KNN分类过程，并提高推理过程中检索邻居实例的质量。分类器根据标签表示和文本表示进行文本分类。为了评估模型的性能，在三个公开英文数据集上进行测试，实验结果表明提出的模型在P@K和nDCG@K指标上均优于其他主流基线模型。

关键词：多标签文本分类,注意力机制,对比增强机制,CTransformer模型,多标签对比学习