双流时间域信息交互的微表情识别卷积网络

来源：计算机科学与探索杂志2022年第4期北京时间：

作者：朱伟杰, 陈莹

单位：江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122

摘要：目前主流的深度学习方法用于微表情识别存在实验数据非常稀缺的问题,导致神经网络在学习的过程中知识获取有限进而难以提升精度。针对目前存在的问题,提出双流网络时间域信息交互的微表情识别方法,构建了双流时间域信息交互卷积神经网络（DSTICNN）,网络对微表情序列进行处理,进而实现微表情自动识别。该算法通过改进深度互学习策略引导网络学习同一图像序列的不同时间域信息,来提高最终的识别率。算法基于不同时间尺度构建DSTICNN32和DSTICNN64,在训练阶段改良了深度互学习的损失函数。同时,在两流网络接近决策层的特征图加上了均方差损失,最终由交叉熵损失、JS散度损失和均方差损失来共同监督训练,使得两流网络互相学习加强,提高各自预测样本的能力。算法在CASME Ⅱ、SMIC数据库上进行了实验,结果表明该算法能有效提高微表情识别率,CASME Ⅱ数据库上提高6.83个百分点,SMIC数据库上提高1.65个百分点,整体算法优于现有算法。

关键词：深度学习,双流时间域信息,交互,微表情识别,深度互学习

基金资助：国家自然科学基金(61573168)