关键点引导与显著帧增强的情感识别网络

来源：计算机工程与应用杂志2025年第18期北京时间：

作者：黄忠, 张丹妮, 任福继, 胡敏, 刘娟

单位：1.安庆师范大学 电子工程与智能制造学院，安徽 安庆 246133；2.合肥工业大学 计算机与信息学院，合肥 230009；3.电子科技大学 计算机科学与工程学院，成都 610056

摘要：针对表情与姿态两类情感线索空间占比差异及时间峰值异步的问题，提出一种关键点引导与显著帧增强的情感识别网络。在空间关键点引导子网中，为捕获帧内表情-姿态的情感相关性和互补性信息，基于跨模态注意力和残差结构构建空间关键点引导机制分别获取表情引导语义和姿态引导语义。在时间显著帧增强子网中，为了减少帧间表情-姿态情感峰值异步带来的冗余信息，根据表情引导语义和姿态引导语义度量情感区分度和离散度，提出时间显著帧增强策略实现引导语义序列的时空特征增强。在FABO和CAER视频数据集上的实验结果表明：提出网络的情感识别准确率分别达到95.31%和89.78%，比基线网络分别提高了11.50和13.66个百分点；与相关方法相比，提出方法在自然场景动态视频数据集和静态图片数据集上均具有较好的情感识别性能。

关键词：面部表情,肢体姿态,情感识别,关键点引导,显著帧增强