融合反事实推理的多模态情感分析算法研究

来源：计算机工程与应用杂志2025年第15期北京时间：

作者：王淑娴, 杨海, 冯程, 李雪

单位：山东交通学院 信息科学与电气工程学院，济南 250357

摘要：在多模态情感分析中，现有的情感识别模型大多在测试集上准确率高，但在实际应用中，模型情感识别准确率比测试集中低，即模型的泛化能力不强。许多研究表明，这种现象归因于：多模态情感分析模型在训练阶段严重依赖于文本模态，进而学习到了文本模态和情感标签之间关于社会、种族、性别等刻板印象，也称为文本偏见。提出一种基于反事实推理的多模态情感分析模型（counterfactual reasoning for multimodal sentiment analysis，CRFM），构建因果图并分析情感识别结果的因果效应，利用反事实推理从情感识别结果总效应中去除文本偏见直接效应，从而去除文本偏见不良影响，提高模型情感识别准确率，进而增强模型泛化能力。利用MOSI和MOSEI两种数据集，分别与六种基线模型进行对比实验，CRFM准确率达87.05%，优于其他基线模型。此外，CRFM在两种数据集中准确率更稳定，模型泛化能力更强。

关键词：多模态情感分析,反事实推理,因果效应,因果图