基于多级特征融合和时域扩展的行为识别方法

来源：计算机工程与应用杂志2023年第7期北京时间：

作者：吴浩原, 熊辛, 闵卫东, 赵浩宇, 汪文翔

单位：1.南昌大学 信息工程学院，南昌 330031；2.南昌大学第一附属医院 信息处，南昌 330006；3.江西省智慧城市重点实验室，南昌 330047；4.南昌大学 软件学院，南昌 330047

摘要：近年来，基于图卷积网络的行为识别是计算机视觉领域的研究热点。然而，现有的图卷积行为识别方法忽略了肢体层面的动作特征，使得行为空间特征提取不准确。此外，这些方法缺乏在间隔帧间进行时序动态建模的能力，导致行为时域特征表达不充分。针对上述问题提出一种基于多级特征融合和时域扩展的图卷积网络行为识别方法。该方法通过多级融合模块提取与融合低层次的关节特征和高层次的肢体特征，从而得到判别性更强的多层级空间特征。同时通过时域扩展模块从相邻帧、间隔帧中学习丰富的多尺度时域特征，增强行为特征的时序表达。在三个大型数据集（NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton）上的实验结果表明，所提方法的识别准确度高于现有行为识别方法。

关键词：图卷积网络,行为识别,多级特征融合,时域扩展