基于预训练模型融合深层特征词向量的中文文本分类

来源：上海理工大学学报杂志2023年第2期北京时间：

作者：汤英杰，刘媛华

单位：上海理工大学 管理学院, 上海 200093,上海理工大学 管理学院, 上海 200093

摘要：为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况，提出一种基于预训练模型（Roberta）融合深层特征词向量的深度神经网络模型，处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量，使用DPCNN模型和改进门控模型（RGRU）对词向量进行特征提取和融合，得到含有深层结构和局部信息的特征词向量，将句子向量与特征词向量融合在一起得到新向量。最后，新向量经过softmax激活层后，输出结果。在实验结果中，以F1值、准确率、召回率为评价标准，在THUCNews长文本中，这些指标分别达到了98.41%，98.44%，98.41%。同时，该模型在短文本分类中也取得了很好的成绩。

关键词：预训练模型;Roberta 模型;DPCNN 模型;特征词向量;中文文本分类

基金资助：国家自然科学基金资助项目（71771152）