基于双流特征交叉融合Efficient Transformer的人脸表情识别

来源：计算机工程与应用杂志2025年第15期北京时间：

作者：党宏社, 孟饶辰, 高宛蓉

单位：陕西科技大学 电气与控制工程学院， 西安 710021

摘要：面部表情识别在人机交互等现实应用中得到了越来越多的重视。为解决传统方法中由于类间相似性和类内差异引起的识别准确率低等问题，提出了一种双流特征交叉融合Efficient Transformer识别人脸表情的方法。使用IResNet50和MobileFaceNet分别提取人脸表情的图像和关键点的多尺度特征，同时采用通道注意力机制来增强关键特征并减少参数量；引入了交叉融合高效多头自注意力机制（cross fusion efficient multi-head self-attention，CFEMSA），对相同尺度的双流特征进行交叉融合，以突出面部显著特征；最后采用特征金字塔结构对不同尺度的交叉融合结果进行多尺度融合，以提高识别的准确性。提出的方法在RAF-DB、AffecNet-7和AffecNet-8数据集上的识别准确率分别为91.82%、67.46%和63.65%，实验结果证明该方法有效缓解了类间相似性和类内差异所引起的识别准确率低的问题。

关键词：面部表情识别,Efficient Transformer,交叉融合,多尺度特征,特征融合