基于多模态轻量化混合模型的情绪识别

来源：电子测量技术杂志2024年第3期北京时间：

作者：彭军强，张立坤，杨亚楠

单位：1.天津工业大学机械工程学院 天津 300387; 2.天津工业大学电子与信息工程学院 天津 300387

摘要：实现更加准确的情绪识别是当前面临的一项富含挑战性且十分有意义的任务。由于情绪的复杂多样性，单一模态的脑电信号难以对情绪进行全面客观的度量。因此本文提出一种多模态轻量化混合模型PCA-MWReliefF-GAPSO-SVM，该混合模型由PCA-MWReliefF特征通道选择器和GAPSO-SVM分类器构成。选用脑电信号(EEG)、肌电信号(EMG)、体温信号(TEM)三模态信号进行情绪识别。在DEAP公共数据集上进行多次实验验证，在效价维度、唤醒维度和四分类中分别取得了97.500 0%、95.833 3%、95.833 3%的分类准确率。实验结果表明，提出的混合模型有助于提高情绪识别准确率且明显优于单模态情绪识别。与近期的类似工作相比，本文提出的混合模型具有较高准确率、计算量小且通道数少的优点，更易于实际应用。

关键词：情绪识别;多模态信号融合;EEG;EMG;TEM;支持向量机