基于双注意力CrossViT的微表情识别方法

来源：南京信息工程大学学报·自然科学版杂志2023年第5期北京时间：

作者：冉瑞生，石凯，江小鹏，王宁

单位：冉瑞生,重庆师范大学 计算机与信息科学学院, 重庆, 401331,石凯,重庆师范大学 计算机与信息科学学院, 重庆, 401331,江小鹏,重庆师范大学 计算机与信息科学学院, 重庆, 401331,王宁,重庆师范大学 计算机与信息科学学院, 重庆, 401331

摘要：微表情是人们试图隐藏自己真实情绪时不由自主泄露出来的面部表情，是近年来情感计算领域的热点研究领域.微表情是一种细微的面部运动，难以捕捉其细微变化的特征.本文基于交叉注意力多尺度ViT （CrossViT）在图像分类领域的优异性能以及能够捕捉细微特征信息的能力，将CrossViT作为主干网络，对网络中的交叉注意力机制进行改进，提出了DA模块（Dual Attention）以扩展传统交叉注意力机制，确定注意力结果之间的相关性，从而提升了微表情识别精度.本网络从三个光流特征（即光学应变、水平和垂直光流场）中学习，这些特征是由每个微表情序列的起始帧和峰值帧计算得出，最后通过Softmax进行微表情分类.在微表情融合数据集上，UF1和UAR分别达到了0.727 5和0.727 2，识别精度优于微表情领域的主流算法，验证了本文提出网络的有效性.

关键词：微表情识别;CrossViT;交叉注意力机制;光流特征

基金资助：重庆市技术创新与应用发展专项面上项目（cstc2020jscx-msxmX0190）；重庆市教委科学技术研究重点项目（KJZD-K202100505）