GCN与CNN融合的特征细化骨骼行为识别方法

来源：计算机工程与应用杂志2025年第22期北京时间：

作者：陈星启, 宋涛, 邹洋杨

单位：1.重庆理工大学 两江人工智能学院，重庆 401135；2.重庆理工大学 电气与电子工程学院，重庆 400054

摘要：图卷积网络（graph convolutional network，GCN）因有效保留骨骼特征能力的优势，在当前主流研究中得到广泛应用并取得显著效果。然而，固定时序卷积核的大小使得时间卷积过程中感受野受限，并且图卷积过程中对骨骼特征信息提取不充分、跨尺度特征细化、多层语义特征连接问题还需要进一步解决。针对这些问题，设计了一个融合网络，既用到了GCN能够保留骨骼特征的优势，又用到了卷积神经网络（convolutional neural network，CNN）较强的空间特征提取能力。在该网络中多分支时序增强卷积（multi-branch temporal enhanced convolution，MTE Conv）设置了不同的分支以及时序增强获得更为丰富的跨尺度细化特征。图顶点增强模块（graph vertex enhanced module，GVEM）作为GCN与CNN之间进行多层次语义特征连接，使得图骨骼特征能够更好地映射到CNN中进行时空特征的提取。在NTU-RGB+D 60的X-view与NTU-RGB+D 120的X-set两大基准上取得了97.63%和91.16%的准确率，表明所提出的方法具有优越的性能。

关键词：行为识别,骨骼数据,特征融合,图卷积神经网络（GCN）