基于BERT与注意力机制的方面级隐式情感分析模型

来源：南京信息工程大学学报·自然科学版杂志2023年第5期北京时间：

作者：杨春霞，韩煜，陈启岗，马文文

单位：杨春霞,南京信息工程大学 自动化学院/江苏省大数据分析技术重点实验室/大气环境与装备技术协同创新中心, 南京, 210044,韩煜,南京信息工程大学 自动化学院/江苏省大数据分析技术重点实验室/大气环境与装备技术协同创新中心, 南京, 210044,hanyu19970620@163.com陈启岗,南京信息工程大学 自动化学院/江苏省大数据分析技术重点实验室/大气环境与装备技术协同创新中心, 南京, 210044,马文文,南京信息工程大学 自动化学院/江苏省大数据分析技术重点实验室/大气环境与装备技术协同创新中心, 南京, 210044

摘要：在方面级情感文本中存在部分不含情感词的评论句，对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息，并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型，通过将方面词引入到基础BERT的输入嵌入结构中，生成与方面词信息相关的词向量；然后构造了语境感知注意力机制，对由编码层得到的深层隐藏向量，将其中的语义和句法信息引入到注意力权重计算过程，使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明，本文模型的效果优于基线模型.

关键词：方面级情感分析;隐式情感分析;门控循环单元;注意力机制;BERT模型

基金资助：国家自然科学基金（61273229，51705260）；江苏省高校青蓝工程创新团队