基于目标对齐和语义过滤的多模态情感分析

来源：计算机技术与发展杂志2024年第10期北京时间：

作者：欧阳梦妮;樊小超;帕力旦·吐尔逊

摘要：近年来许多研究工作利用注意力机制捕捉意见目标相应的视觉表征进行情感预测,但这种方法在细粒度意见目标对齐方面效果并不理想。 为此,提出一种基于目标对齐和语义过滤的多模态情感分析方法。 首先,引入目标识别方法 Deepface 获取图像的粗粒度意见目标,并使用映射方法,将粗粒度意见目标映射到细粒度意见目标,实现模态内的目标对齐。 其次,利用 Deepface 获取粗粒度意见目标的情绪词并将其和视觉表征融合,使模型更准确地理解和表示意见目标的情感倾向。 最后,引入图文匹配模型 CLIP 来评估图像与意见目标之间的语义关联性,从而过滤多余的视觉模态数据噪声。 实验表明,提出的意见目标对齐和语义过滤能更好地利用视觉模态信息,提高情感预测的准确性。

关键词：方面级情感分析;目标对齐;语义过滤;噪声;多模态