利用可选择多尺度图卷积网络的骨架行为识别

来源：电子与信息学报杂志2025年第3期北京时间：

作者：曹毅, 李杰, 叶培涛, 王彦雯, 吕贤海

单位：1.江南大学机械工程学院 无锡 2141222.江南大学江苏省食品先进制造装备技术重点实验室 无锡 214122

摘要：针对目前骨架行为识别方法忽视骨架关节点多尺度依赖关系和无法合理利用卷积核进行时间建模的问题，该文提出了一种可选择多尺度图卷积网络(SMS-GCN)的行为识别模型。首先，介绍了人体骨架图的构建原理和通道拓扑细化图卷积网络的结构；其次，构建成对关节邻接矩阵和多关节邻接矩阵以生成多尺度通道拓扑细化邻接矩阵，并引入图卷积网络，进一步提出多尺度图卷积(MS-GC)模块，以期实现对骨架关节点的多尺度依赖关系的建模；然后，基于多尺度时序卷积和可选择大核网络，提出可选择多尺度时序卷积(SMS-TC)模块，以期实现对有用的时间上下文特征的充分提取，同时结合MS-GC和SMS-TC模块，进而提出可选择多尺度图卷积网络模型并在多支流数据输入下进行训练；最后，在NTU-RGB+D和NTU-RGB+D 120数据集上进行大量实验，实验结果表明，该模型能够捕获更多的关节特征和学习有用的时间信息，具有优异的准确率和泛化能力。

关键词：骨架行为识别, 图卷积网络, 多尺度通道拓扑细化邻接矩阵, 可选择多尺度时序卷积, 可选择多尺度图卷积网络

基金资助：国家自然科学基金(51375209)，江苏省“六大人才高峰”计划(ZBZZ-012)，高等学校学科创新引智计划(B18027)