基于多尺度时空注意力网络的微表情检测方法
来源：计算机工程杂志2024年第6期北京时间：
作者：于洋, 孙芳芳, 吕华, 李扬, 王晓民
单位：1. 河北工业大学人工智能与数据科学学院, 天津 300401;2. 天津市农业科学院信息研究所, 天津 300192
摘要：微表情可以揭示人们试图隐藏的真实情绪,为刑事侦查、心理辅导等提供潜在的信息。现有微表情检测方法主要在获取空间特征的基础上提取时间特征以构建时空特征,这种处理方式容易导致时间特征失真,同时在空间处理过程中会破坏原有时序关系,降低微表情时空特征的判别性。针对这一问题,提出基于多尺度时空注意力网络的微表情检测方法。利用包含时间和空间关系的三维卷积神经网络(3DCNN)对微表情序列进行处理,获取兼顾时间域和空间域的鲁棒性特征。构建多尺度时间输入序列,从不同时间长度的图像序列中提取多维时间特征,采用轻量级3DCNN提取多尺度时空特征,利用全局时空注意力模块(GSAM)对时空特征进行全局性时空关联加强,其中时空重组模块用于加强不同时刻图像帧之间的连通性,全局信息关注模块构建单帧图像上的空间关联信息,最后对不同时刻的特征赋予权重以突出关键时间信息,有效完成微表情检测工作。实验结果表明,该方法可以准确检测出微表情序列片段,在CASME、CASME II和SAMM公开数据集上的准确率分别达到92.32%、95.04%和89.56%,相比目前最优的深度学习方法LGAttNet,所提方法在CASME II和SAMM数据集上的准确率分别提高了3.84和4.96个百分点。
关键词：微表情检测,三维卷积神经网络,时空特征,多尺度特征,关联性
基金资助：国家自然科学基金 (62276088,62102129)。
