基于多头自注意力机制与 CNN 的文本分类模型

来源：计算机技术与发展杂志2022年第S1期北京时间：

作者：李丰翼;刘万里;杨晓辉;黄玉珍

单位：1. 南京理工大学,江苏 南京 2100002. 南京市中西医结合医院,江苏 南京 210094

摘要：在大数据时代下,每时每刻都产生着大量的数据,如何将这海量的数据加以利用,给人们的生活带来更多的便利是当下各大互联网公司重点研究的方向。 文本数据是海量数据中的主要组成部分,因此如何处理文本数据是学者们研究的热点之一。 对文本的处理任务主要包含文本分类、语义分析、实体命名、文本翻译等,传统处理这些任务的方式是使用机器学习方法,随着深度学习的兴起,学者们开始使用神经网络技术来处理文本,并取得了更好的效果。 该文在前人研究的基础上提 出 了 一 种 基 于 多 头 自 注 意 力 机 制 与 卷 积 神 经 网 络 的 长 文 本 分 类 模 型 ( MHA - CNN) 。 在 此 模 型 中, 将Transformer 中多头自注意力机制与多层 CNN 结合使用,提取不同维度的文本特征,再连接 Dependency Tree-LSTM 进行文本分类。 通过实验证明,该模型相较于单个模型有一定的提升。

关键词：自然语言处理;文本分类;神经网络;自注意力机制;卷积神经网络