基于时空图卷积网络的视频中人物姿态分类

来源：计算机技术与发展杂志2021年第10期北京时间：

作者：张懿扬;陈志*;岳文静;张怡静

单位：1. 南京邮电大学 计算机学院,江苏 南京 210023;2. 南京邮电大学 通信与信息工程学院,江苏 南京 210023;3. 南京邮电大学 物联网学院,江苏 南京 210023

摘要：为解决视频中人物姿态分类问题, 提出了一种基于时空图卷积网络的改进模型。 该模型首先结合人体的骨架关键点序列来构建视频中人体运动的时空特征图,将输入的视频人体骨骼关键点进行预处理,对空间节点依照人体运动规律进行子网划分,构造关节序列的时空图;继而对得到的时间特征图与空间特征图确定特征权重与卷积核,并进行级联特征融合;最后根据输入输出通道层数量搭建由图卷积网络与时序卷积网络构成的网络训练模型,基于时空特征图构型划分进行时序卷积与图卷积操作,由模型的全连接层得到分类结果。 实验结果表明,上述改进模型能够准确得到视频中人物姿态的分类结果,并改善了卷积网络在训练中的特征冗余问题,有效地提高人物姿态分类的鲁棒性。

关键词：人物姿态分类;特征融合;时空图卷积网络;骨骼关键点;特征冗余