基于面部图像和心率变异性的多模态融合情感识别算法

来源：南京信息工程大学学报·自然科学版杂志2026年第2期北京时间：

作者：张宇轩，林贤煊，王爽，潘志庚

单位：张宇轩,南京信息工程大学 计算机学院, 南京, 210044,林贤煊,南京信息工程大学 人工智能学院, 南京, 210044,王爽,南京信息工程大学 沐曦高性能计算研究院, 南京, 210044,潘志庚,南京信息工程大学 人工智能学院, 南京, 210044;南京信息工程大学 沐曦高性能计算研究院, 南京, 210044;元宇宙文旅场景应用技术研究江苏省文化和旅游重点实验室, 南京, 210044;北航杭州国际创新研究院 元宇宙与具身智能实验室, 杭州, 311115

摘要：针对虚拟运动中无法有效识别用户情感的问题,本文提出一种基于面部图像和心率变异性模态的多模态融合情感识别算法.通过分析捕捉面部图像和心率变异性两种模态下的数据信息,敏锐洞察用户的情绪变化,进而为用户打造贴合其当下状态的个性化人机交互体验.首先设计多模态融合Transformer对面部图像和心率变异性进行多模态互补学习,然后使用多模态特征融合将融合特征与原始特征进行拼接,同时,使用轻量化自注意力机制学习多模态内的高级表示.最终在两个公开数据集上进行了大量实验,结果显示所提出的方法具有更好的性能.实验结果表明,所提出的方法切实有效,可以指导用户体验系统的设计和开发.

关键词：多模态情感识别;Transformer;卷积神经网络;双向长短期记忆网络

基金资助：国家自然科学基金(62072150,6257076952)