采用平衡函数的大规模多标签文本分类

来源：计算机工程与应用杂志2024年第4期北京时间：

作者：陈钊鸿, 洪智勇, 余文华, 张昕

单位：五邑大学 智能制造学部，广东 江门 529020

摘要：大规模多标签文本分类是自然语言处理领域的一项挑战性任务。该任务存在标签数据长尾分布的情况，在这种情况下，模型学习尾部标签分类能力不佳，导致模型的整体分类效果不理想。为解决以上问题，提出采用平衡函数的大规模多标签文本分类方法。该方法使用BERT预训练模型对文本进行词嵌入处理，进一步使用预训练模型中多层编码器的拼接输出作为文本向量表示，获取了丰富的文本语义信息，提高了模型收敛速度。最后采用平衡函数针对预测标签的训练损失赋予不同的衰减权重，提高了方法在尾部标签分类上的学习能力。在Eurlex-4K和Wiki10-31K数据集上的实验结果表明，评价指标P@1、P@3和P@5上分别达到86.95%、74.12%、61.43%和88.57%、77.46%、67.90%。

关键词：自然语言处理,大规模多标签文本分类,BERT,平衡函数,深度学习