多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

来源：电子与信息学报杂志2024年第2期北京时间：

作者：孙强, 陈远

单位：1.西安理工大学自动化与信息工程学院通信工程系 西安 7100482.西安市无线光通信与网络研究重点实验室 西安 710048

摘要：在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中，通常存在两个挑战性问题：(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征；(2)如何充分利用双模态信息，捕捉双模态特征中情感语义的一致性与互补性。为此，提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面，为从EEG信号中获得更具显著性的情感语义特征，设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征，再通过特征相似度加权并集成各层次的特征，最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面，为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性，设计了特有-共享特征融合模块，通过特有特征的学习和共享特征的学习来联合学习情感语义特征，并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上，采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明，该模型取得了具有竞争力的结果，为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。

关键词：双模态情感识别, 脑电, 人脸图像, 多层次时空特征, 特征融合

基金资助：西安市科技计划项目(22GXFW0086)，西安市碑林区科技计划项目(GX2243)，西安理工大学研究生校企协同创新基金 (310/252062108)