音视频双模态情感识别融合框架研究

来源：计算机工程与应用杂志2020年第6期北京时间：

作者：宋冠军，张树东，卫飞高

单位：首都师范大学 信息工程学院，北京 100048

摘要：针对双模态情感识别框架识别率低、可靠性差的问题，对情感识别最重要的两个模态语音和面部表情进行了双模态情感识别特征层融合的研究。采用基于先验知识的特征提取方法和VGGNet-19网络分别对预处理后的音视频信号进行特征提取，以直接级联的方式并通过PCA进行降维来达到特征融合的目的，使用BLSTM网络进行模型构建以完成情感识别。将该框架应用到AViD-Corpus和SEMAINE数据库上进行测试，并和传统情感识别特征层融合框架以及基于VGGNet-19或BLSTM的框架进行了对比。实验结果表明，情感识别的均方根误差（RMSE）得到降低，皮尔逊相关系数（PCC）得到提高，验证了文中提出方法的有效性。

关键词：音视频,双模态,特征层融合,情感识别,BLSTM