基于全局-局部交互与对比学习的多模态对话情感识别

来源：计算机应用研究杂志2026年第2期北京时间：

作者：钮焱,乐颖,李军,

单位：湖北工业大学计算机科学与人工智能学院,武汉430068；

摘要：为解决多模态对话情感识别中模态融合缺乏全局引导、跨模态语义对齐困难及模态学习不平衡的问题，提出一种基于全局-局部交互与对比学习的情感识别方法。该方法通过全局语义中枢引导模态间的深度交互，实现自适应注意力分配与特征融合；构建文本-音频-视觉三模态对比学习框架，在共享语义空间中促进跨模态对齐与信息互补；并设计模态动态平衡优化器，依据模态性能动态调整学习率，抑制模态主导现象。实验在IEMOCAP和MELD数据集上分别取得76.09%和69.66%的准确率，加权F1值达76.20%和68.79%，显著优于现有主流方法，验证了所提方法在多模态协同建模与情感识别性能提升方面的有效性。

关键词：多模态情感识别,多模态融合,全局-局部交互机制,对比学习,模态平衡优化,

基金资助：国家自然科学基金资助项目(62202147)；；