结合显著特征筛选和ViT的面部表情识别方法

来源：计算机工程与应用杂志2023年第22期北京时间：

作者：封红旗, 黄伟铠, 张登辉

单位：1.常州大学 计算机与人工智能学院，江苏 常州 213100；2.浙江树人大学 信息科技学院，杭州 310000

摘要：真实的人机交互场景中，人的动态行为（转头、行走等）以及不稳定的光源，会导致面部细节特征无法有效提取，从而降低面部表情识别的准确率。针对该问题，提出了一种结合显著特征筛选和视觉转化器（ViT）的优化模型。采用加权求和光照归一化方法对原图进行亮度平衡，并利用卷积神经网络提取面部特征；使用显著特征筛选模块聚合面部局部-全局上下文信息；应用多层Transformer编码器来加强面部特征之间的关联性；最后采用Softmax函数对面部表情结果进行预测。实验结果表明，该网络模型在RAF-DB、FERPlus和AffectNet数据集上取得了良好的性能。

关键词：面部表情识别,显著特征筛选,视觉转化器,多层Transformer编码器