基于多尺度卷积和自注意力特征融合的多模态情感识别方法

来源：计算机应用杂志2024年第2期北京时间：

作者：陈田, 蔡从虎, 袁晓辉, 罗蓓蓓

单位：1.合肥工业大学 计算机与信息学院, 合肥 230009；2.智能互联系统安徽省实验室, 合肥 230009；3.情感计算与先进智能机器安徽省重点实验室, 合肥 230009；4.北德克萨斯大学 计算机科学与工程系, 丹顿 76207

摘要：基于生理信号的情感识别受噪声等因素影响，存在准确率低和跨个体泛化能力弱的问题。对此，提出一种基于脑电（EEG）、心电（ECG）和眼动信号的多模态情感识别方法。首先，对生理信号进行多尺度卷积，获取更高维度的信号特征并减少参数量；其次，在多模态信号特征的融合中使用自注意力机制，以提升关键特征的权重并减少模态之间的特征干扰；最后，使用双向长短期记忆（Bi-LSTM）网络提取融合特征的时序信息并进行分类。实验结果表明，所提方法在效价、唤醒度和效价/唤醒度四分类任务上分别取得90.29%、91.38%和83.53%的识别准确率，相较于脑电单模态和脑电/心电双模态方法，准确率上提升了3.46~7.11和0.92~3.15个百分点。所提方法能够准确识别情感，在个体间的识别稳定性更好。

关键词：脑电,自注意力,心电,眼动,多模态,情感识别

基金资助：国家自然科学基金资助项目(62174048)