基于CNN和LSTM的人脸表情识别模型设计

来源：电子测量技术杂志2021年第17期北京时间：

作者：程换新，王 雪，程力，孙胜意

单位：青岛科技大学 自动化与电子工程学院,山东 青岛 266061

摘要：人脸表情能够正确的反应人的内心活动，但由于表情的复杂性和微妙性，准确的识别人脸表情仍然是一大难题。本文设计了一种基于卷积神经网络（Convolutional Neural Network，CNN）和长短期记忆神经网络（Long Short-Term Memory, LSTM） 的方法让计算机能够识别人脸的表情，损失函数采用Focal loss。该框架包括三个方面：(1)采用两种不同的预处理技术处理光照变化，并保留图像的边缘信息；(2)预处理后的图像被输入到两个独立的CNN层用于提取特征；(3)将提取到的特征与LSTM层融合。我们使用FER2013、JAFFE和CK+三个数据集验证模型准确性，并选择FER2013数据集制作混合矩阵，结果为我们的模型在FER2013数据集上的准确率相比于目前先进模型提升了9.65%，在JAFFE和CK+数据集上也表现良好，结果表明我们提出的模型具有较强的泛化能力。

关键词：人脸表情; CNN; LSTM; Focal loss

基金资助：国家海洋局重大专项项目 (国海科字[2016]494号No.30)