基于时空特征增强图卷积网络的骨架行为识别

来源：电子与信息学报杂志2023年第8期北京时间：

作者：曹毅, 吴伟官, 李平, 夏宇, 高清源

单位：1.江南大学机械工程学院 无锡 2141222.江南大学江苏省食品制造装备重点实验室 无锡 214122

摘要：针对骨架行为识别不能充分挖掘时空特征的问题，该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先，介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构，其次，采用空域上的图注意力机制，根据邻居节点的重要性程度分配不同的权重系数，生成可充分挖掘空域结构特征的注意力系数矩阵，并结合非局部网络生成的全局邻接矩阵，提出一种新的空域自适应邻接矩阵，以期增强对人体空域结构特征的提取；然后，时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征，并结合时域卷积提取的特征，以期增强对行为信息中时域特征的提取。再者，在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强，更有利于模型提取样本的时空特征，同时结合空域特征增强、时域特征增强和通道注意力，构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练，以期实现时空特征的充分挖掘。最后，在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究，实验结果表明该模型具有优秀的识别准确率和泛化能力，也进一步验证了该模型充分挖掘时空特征的有效性。

关键词：行为识别, 图注意力机制, 混合池化, 通道注意力, 时空特征增强

基金资助：国家自然科学基金(51375209)，江苏省“六大人才高峰”计划 (ZBZZ-012)，江苏省优秀科技创新团队基金(2019SK07)，高等学校学科创新引智计划(B18027)