结合跨模态注意力蒸馏与情感转移损失的多模态情感分析

来源：计算机工程与应用杂志2026年第14期北京时间：

作者：李沛芸, 许云峰, 陈昊

单位：1.河北科技大学 信息科学与工程学院，石家庄 050000；2.中国人民解放军陆军工程大学石家庄校区，石家庄 050003；

摘要：现有基于跨模态注意力的多模态情感分析方法存在两个关键问题：跨模态注意力机制在残差结构中仅显式优化注意力路径，忽略了恒等连接中原始特征的协同调整；情感转移状态建模不充分，难以捕捉对话中的情感变化。针对这些问题，提出结合跨模态注意力蒸馏与情感转移损失的多模态情感分析方法。在交互层面，设计跨模态注意力蒸馏（cross-modal attention distillation，CAD）损失函数重构目标模态与参考模态的注意力分布，利用反向传播使信息流同时流经自注意力模块和恒等连接，削弱过强或过弱恒等连接对判别性特征的干扰，增强模态间交互能力；在内容层面，构建动态权重调整的内容保持机制，平衡跨模态融合与原始特征保留；在情感转移建模层面，提出基于时间步差异的情感转移模块（emotion transfer module，ETM）作为辅助任务显式建模情感状态转移，增强对话情感变化捕捉能力。实验结果表明，模型在IEMOCAP和MELD数据集上分别达到71.29%、71.35%和67.62%、66.79%的Acc/W-F1分数，证明了该模型的优越性。

关键词：多模态,情感分析,注意力蒸馏,情感转移损失

基金资助：河北省重点研发计划项目（21373802D）；教育部人工智能协同育人项目（201801003011）。