融合多粒度动态语义表征的文本分类模型

来源：南京信息工程大学学报·自然科学版杂志2023年第2期北京时间：

作者：张骏强，高尚兵，苏睿，李文婷

单位：张骏强,淮阴工学院 计算机与软件工程学院/江苏省物联网移动互联技术工程实验室, 淮安, 223003,高尚兵,淮阴工学院 计算机与软件工程学院/江苏省物联网移动互联技术工程实验室, 淮安, 223003,gaoshangbing@hyit.edu.cn苏睿,淮阴工学院 计算机与软件工程学院/江苏省物联网移动互联技术工程实验室, 淮安, 223003,李文婷,淮阴工学院 计算机与软件工程学院/江苏省物联网移动互联技术工程实验室, 淮安, 223003

摘要：在对化工领域类文本进行分类任务时,由于文本的专业性以及复杂多样性,仅仅依靠现有的词向量表征方式,很难对其中的专业术语以及其他化工领域内相关字词的语义进行充分表征,从而导致分类任务的准确率不高.本文提出一种融合多粒度动态语义表征的文本分类模型,首先在词嵌入层使用动态词向量表征语义信息并引入对抗扰动,使得词向量具有更好的表征能力,然后利用多头注意力机制进行词向量权重分配,获得带有关键语义信息的文本表示,最后使用提出的多尺度残差收缩深层金字塔形的卷积神经网络与混合注意力胶囊双向LSTM网络模型分别提取不同粒度的文本表示,融合后对得到的最终文本表示进行分类.实验结果表明,相比于现有模型,所提出的模型使用不同词向量表示时,在化工领域文本数据集上F1-Score最高可达84.62％,提升了0.38~5.58个百分点;在公开中文数据集THUCNews和谭松波酒店评论数据集ChnSentiCorp上进行模型泛化性能评估,模型也有较好表现.

关键词：文本分类;对抗扰动;多粒度;多头注意力机制;深度残差收缩;预训练语言模型

基金资助：国家重点研发计划(2018YFB1004904);江苏省六大人才高峰资助项目(XYDXXJS-011);江苏省333工程资助项目(BRA2016454);江苏省教育厅重大研究项目(18KJA520001);淮阴工学院研究生科技创新计划项目(HGYK202121)