基于对话的多模态情感分析技术研究

来源：电子测量技术杂志2026年第6期北京时间：

作者：赵亚芳，梁志剑

单位：中北大学计算机科学与技术学院 太原 030051

摘要：针对多模态对话情感识别（MERC）中难以有效捕捉对话中跨模态语义关联以及对少数类和语义易混淆类情感的区分能力有限的问题，提出了一种新的多模态情感分析模型（FuseNet）。该模型采用双向注意力对话编码器（BiDRN）以捕捉对话上下文依赖，有效整合来自不同说话人的音频与视觉线索，并通过基于分层门控机制的融合模块实现动态多模态融合，同时引入类感知多模态对比（CAMC）损失以增强类间判别性，提升对少数类以及语义相近情感类别的区分能力。在IEMOCAP和MELD两个基准ERC数据集上的实验结果表明，与当前先进模型CORECT相比，FuseNet的F1分数分别提升了2.91%和2.00%，在多数情感类别的分类性能上均优于现有基线模型，尤其在识别少数类和语义相近类情感上改进显著。

关键词：多模态对话情感识别;双向注意力;分层门控机制;动态多模态融合;对比损失

基金资助：山西省2024年度研究生教育创新计划项目(2024SZ23)、2024年山西省高等学校教学改革创新项目(J20240839)资助