面向情感语义不一致的多模态情感分析方法

来源：计算机研究与发展杂志2025年第2期北京时间：

作者：罗渊贻,吴锐,刘家锋,唐降龙,

摘要：多模态情感分析是利用多种模式的主观信息对情感进行分析判断的一种多模态任务.情感表达具有主观性，在某些场景下不同模态的情感表达不一致，甚至存在相悖的情况，这会削弱多模态协同决策的效果.针对不同模态间情感语义不一致的问题，提出一种多模态学习方法，学习情感语义表达一致的模态特征表示.为了在不影响模态原始信息的同时，提高各模态的共性特征表达并增加模态间的动态交互，首先学习每个模态的共性特征表示，然后利用交叉注意力使单个模态能有效从其余模态的共性特征表示中获取辅助信息.在模态融合模块，以软注意力机制为基础提出模态注意力，对情感语义表达一致的各模态特征表示进行加权连接，以增大强模态的表达，抑制弱模态对任务的影响.提出的模型在情感分析数据集MOSI，MOSEI，CH-SIMS上的实验结果均优于对比模型，表明在多模态情感分析任务中考虑情感语义不一致问题的必要性与合理性.

关键词：多模态情感分析, 共性特征, 情感语义不一致, 注意力机制,