结合BERT和BiSRU-AT的中文文本情感分类

来源：计算机工程与科学杂志2021年第9期北京时间：

作者：黄泽民, 吴晓鸰, 吴迎岗, 凌捷

单位：广东工业大学计算机学院,广东 广州 510006

摘要：针对传统语言模型的词向量表示无法解决多义词表征的问题，以及现有情感分析模型不能充分捕获长距离语义信息的问题，提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT-BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征；然后利用双向简单循环单元（BiSRU）二次提取语义特征和上下文信息；再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明，结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率，双向简单循环模型和注意力机制的引入能有效提高模型的整体性能，有较大的实用价值。

关键词：文本情感分析,语义特征,注意力机制,双向简单循环单元,双向解码器,

基金资助：广东省重点领域研发计划（2019B010139002）；广州市重点领域研发计划（202007010004）