混合特征及多头注意力的中文短文本分类

来源：计算机工程与应用杂志2024年第9期北京时间：

作者：江结林, 朱永伟, 许小龙, 崔燕, 赵英男

单位：1.南京信息工程大学 软件学院，南京 210044；2.南京信息工程大学 江苏省大气环境与装备技术协同创新中心，南京 210044；3.南京特殊教育师范学院 数学与信息科学学院，南京 210038；4.南京信息工程大学 计算机学院、网络空间安全学院，南京 210044

摘要：传统的短文本分类研究方法存在两方面不足，一是不能全面地表示文本的语义信息，二是无法充分地提取和融合文本全局和局部信息。基于此，提出一种混合特征及多头注意力（HF-MHA）的中文短文本分类方法。该方法利用预训练模型计算中文短文本的字符级向量和词级向量表示，以得到更全面的文本特征向量表示；采用多头注意力机制捕捉文本序列中的依赖关系，以提高文本的语义理解；通过卷积神经网络分别提取两种向量表示的特征，并将其融合为一个特征向量，以整合文本的全局和局部信息；通过输出层得到分类结果。在三个公开数据集上的实验表明，HF-MHA能够有效地提升中文短文本分类的性能。

关键词：中文短文本分类,注意力机制,词级向量,字符级向量