结合多视图特征融合和交叉注意力图卷积的EEG-fNIRS情感识别

来源：计算机工程与应用杂志2025年第24期北京时间：

作者：陶晨曦, 张雪英, 陈桂军

单位：1.太原理工大学 集成电路学院，太原 030024；2.太原理工大学 电子信息工程学院，太原 030024

摘要：为了有效学习脑电（EEG）和功能近红外（fNIRS）信号的情感认知时-频-空域信息，提出一种多视图脑电的多路静动态图卷积交叉注意网络（MF-MSDG-CAFF）方法用于EEG-fNIRS情感识别。通过对情感视频诱发的EEG和fNIRS数据提取各通道信号的不同视图特征及其空间连接关系，构建图结构数据；并行引入静、动态图卷积，捕获不同模态通道间的连接信息和交互特性；通过交叉注意力网络进行特征融合，从而提高情感识别的准确率；结果表明，与单视图EEG相比，提出的多视图EEG方法拥有较高的识别准确率；与仅EEG和仅fNIRS单模态识别结果相比，提出的融合模型的识别率提升1.04和23.72个百分点；与当前常用的EEG-fNIRS融合方法相比，提出的融合模型的识别率提升1.56~15.48个百分点。

关键词：多视图EEG,多模态融合,静动态图卷积神经网络,交叉注意力,情感识别