基于图像语义翻译的图文融合情感分析方法

来源：计算机工程与应用杂志2023年第11期北京时间：

作者：黄健, 王颖

单位：西安科技大学 通信与信息工程学院，西安 710600

摘要：多模态情感分析问题中，图像在不同情况或者对其关注点不同会产生不同的情感，为了解决图像语义理解问题，提出了基于图像语义翻译的图文融合情感分析（ImaText-IST）方法。将图像送入图像翻译模块将其翻译为图像描述，该模块融入了不同的情感表达来进行图像描述捕捉，分别生成积极、中性和消极三个情感极性的图像描述。通过三个情感极性的图像描述和数据集中的文本进行情感相关性分析，从而使得对图像情感理解更加准确。将图像语义描述、目标以及文本进行情感预测，分别采用特征融合及辅助语句的方式进行情感分析。实验结果表明，辅助语句的方式（Axu-ImaText-IST）能更好地理解图文的情感，在社交情感媒体数据集Twitter-15和Twitter-17的Accuracy和Macro-F1均高于基准模型。

关键词：图文融合,多模态情感分析,图像描述,情感相关性