基于知识增强的跨模态融合网络的多模态对话情绪识别模型

来源：计算机应用研究杂志2025年第4期北京时间：

作者：干欣怡,黄贤英,邹世豪,沈旭东,

单位：1.重庆理工大学计算机科学与工程学院,重庆400054；2.华中科技大学计算机科学与技术学院,武汉430074；

摘要：针对未充分利用模态表征能力的差异和说话者情绪线索的问题，提出了一种基于知识增强的跨模态融合网络模型。该模型设计了外部知识增强的跨模态模块，将较弱模态特征与多层次文本和外部知识逐层融合嵌入到多头注意力层中，充分挖掘较弱模态中的有效信息，实现模态间的特征互补和一致性。此外，模型还设计了基于有向图的情绪线索增强模块，利用基于说话者不同情绪线索的外部知识来增强融合特征，并构建上下文信息有向图，深入挖掘并利用说话者的情绪线索。实验结果表明，该模型在两个基准数据集中有效利用了模态表征能力的差异和说话者情绪线索，情绪识别效果显著优于现有方法，验证了模型的可行性与有效性。

关键词：对话情绪识别,外部知识,数据增强,Transformer,多模态交互,

基金资助：国家自然科学基金资助项目(62141201)；重庆市自然科学基金资助项目(CSTB2022NSCQ-MSX1672)；重庆市研究生科研创新资助项目(CYS23675)；；