基于重构双注意力网络的图文情感分析

来源：计算机技术与发展杂志2024年第12期北京时间：

作者：周乐善;冯锡炜*

摘要：在传统的图文跨模态情感分析算法中,由于缺乏对视觉特征空间和通道的关注,往往容易造成局部特征关键信息的丢失,导致在特征融合阶段,不能很好地表示关键信息。 因此,该文提出了基于重构双注意力网络的图文情感分析模型(Images-Text Sentiment Analysis Based on Reconstructed Dual Attention Networks Fusion,IRDA)。 该模型在视觉特征提取中使用 ResNet50 获取视觉特征,同时引入空间和通道重构卷积模块,对视觉特征空间和通道位置信息进行重构,对不同位置的关键信息进行融合,加强视觉特征提取。 在文本特征提取中使用 BERT 模型获取文本特征表示,并使用双向门控循环单元(Bi-GRU)关注低层次单词之间的上下文联系,进而增强文本语义特征。 使用交互注意力机制关注模态间的特征交互,并进行视觉特征与文本特征融合,进而完成情感分类任务。该模型在 MVSA 多模态数据集上进行实验验证,实验结果表明该模型皆优于当前主流模型,证实了模型的有效性。

关键词：深度学习;多模态;交互注意力;BERT;重构单元卷积模块;卷积神经网络;情感分析