结合DistilBERT与标签关联性的多标签文本分类

来源：计算机工程与应用杂志2024年第23期北京时间：

作者：王旭阳, 耿留青, 张鑫

单位：兰州理工大学 计算机与通信学院，兰州 730050

摘要：现有的多标签文本分类方法往往忽视了标签的关联性和语义信息，导致标签特征提取不充分，标签之间的相关性信息难以得到有效的利用，为解决这一问题，提出一个融合DistilBERT和标签关联性信息的模型IDLC。使用DistilBERT获得文本的和标签的词向量表示，同时利用DistilBERT获取到包含文本上下文信息的全局特征，通过CNN提取文本局部特征，再使用图的形式来表示标签之间的相互关系，通过具有多头注意力机制的图注意力网络捕获包含关联信息的标签特征，最后通过特征融合方法将标签特征和文本特征进行融合，构建包含更多特征信息的文本表示，以此来提升模型的分类精度。在基准数据集上的实验结果表明，与基准模型相比，该方法能有效提升模型性能，在多标签文本分类任务中有更好的分类效果。

关键词：多标签文本分类,DistilBERT,图注意力网络,卷积神经网络（CNN）