面向目标交互图神经网络的多模态方面级情感分析

来源：计算机工程与应用杂志2024年第23期北京时间：

作者：张丽霞, 汪凯旋, 庞梓超, 梁云

单位：华南农业大学 数学与信息学院，广州 510642

摘要：对于多模态方面级情感分析任务，除了需要提取出文本和图像的表示，还需要将它们与方面语义信息相结合处理。然而，以往的相关方法对方面与文本和图像信息之间的交互处理不够充分，即使使用注意力机制建立起模态全局之间的关联，也难以在细粒度表达出它们的交互。为了充分进行多模态之间细粒度上的信息交互，提出一种面向目标交互图神经网络，围绕文本、图像和方面三者的关系建模，采用交叉注意力获取面向方面目标的文本和图像全局表示；建立多模态交互图，以连接不同模态的局部及全局表示节点；使用图注意力网络在粗细两个粒度上充分融合特征。在两个基准数据集上进行实验，结果表明该模型相比于仅使用注意力机制的模型，具有更佳的情感分类效果。

关键词：多模态方面级情感分析,注意力机制,交叉注意力,面向目标交互,图注意力网络