基于增强特征和注意力机制的视频表情识别

来源：计算机技术与发展杂志2022年第11期北京时间：

作者：李飞;陈瑞;童莹;陈乐

单位：1. 南京工程学院 电力工程学院,江苏 南京 211167;2. 南京工程学院 信息与通信工程学院,江苏 南京 211167;3. 南京邮电大学 通信与信息工程学院,江苏 南京 210003

摘要：端到端的 CNN-LSTM 模型利用卷积神经网络( Convolutional Neural Network,CNN)提取图像的空间特征,利用长短期记忆网络 LSTM 提取视频帧间的时间特征,在视频表情识别中得到了广泛的 应用。 但在学习视频帧的分层表示时,CNN-LSTM 模型复杂度较高,且易发生过拟合。 针对这些问题,提出一个高效、低复杂度的视频表情识别模型 ECNN-SA(Enhanced Convolutional Neural Network with Self-Attention) 。 首先,将视频分成若干视频段,采用带增强特征分支的卷积神经网络和全局平均池化层提取视频段中每帧图像的特征向量。 其次,利用自注意力( Self-Attention) 机 制获得特征向量间的相关性,根据相关性构建权值向量,主要关注视频段中的表情变化关键帧,引导分类器给出更准确的分类结果。 最终,该模型在 CK+和 AFEW 数据集上的实验结果表明,自注意力模块使得模型主要关注时间序列中表情变化的关键帧,相比于单层和多层的 LSTM 网络,ECNN-SA 模型能更有效地对视频序列的情感信息进行分类识别。

关键词：人脸表情识别;视频序列;自注意力机制;增强特征;卷积神经网络