结合双流注意力与对抗互重建的双模态情绪识别方法

来源：电子与信息学报杂志2026年第1期北京时间：

作者：刘佳, 张洋瑞, 陈大鹏, 毛碟, 卢国瑞

单位：1.南京信息工程大学自动化学院 南京 2100442.江苏省智能气象探测机器人工程研究中心 南京 2100443.江苏省大气环境与装备技术协同创新中心 南京 2100444.大数据分析与智能系统江苏省高校重点实验室 南京 210044

摘要：随着情感计算的不断发展，基于多模态信号的情绪识别方法得到了广泛关注。脑电情感信号因受试个体的不同存在较大的分布差异，导致分类识别率不高。为了解决现有情绪识别方法中单一模态存在的噪声大、个体差异明显等问题，该文结合脑电信号(EEG)与语音信号提出一种基于双流注意力与对抗互重建的双模态情绪识别方法。在脑电模态方面，设计集成时间帧-通道联合注意力与Mamba网络的双重特征提取器，实现对关键时序片段与频谱特征的深度建模。在语音模态方面，引入帧级随机掩码机制与双向长短时记忆网络结构，增强模型对语音情绪变化的建模能力及抗干扰能力。通过模态精炼融合模块引入梯度反转层与正交投影机制，提升模态对齐与判别能力；进一步地，结合对抗互重建机制，在共享隐空间中重建同类情绪特征，实现跨被试的一致性建模。实验在MAHNOB-HCI, EAV与SEED等多个基准数据集上验证了所提方法的有效性，结果表明该模型在跨个体情绪识别与模态信息融合方面具有显著优势，为多模态情感计算提供了一种有效解决方案。

关键词：多模态情感识别, 注意力机制, 对抗互重建, 脑电, 语音特征

基金资助：国家自然科学基金 (62473200, 62003169)，江苏省青年科技人才托举工程(JSTJ-2024-195)，江苏高校“青蓝工程”