基于残差融合双流图卷积网络的手势识别方法

来源：电子测量技术杂志2022年第9期北京时间：

作者：程换新，成凯，程力，蒋泽芹

单位：1.青岛科技大学 自动化与电子工程学院 山东 青岛 266061; 2.中国科学院 新疆理化技术研究所 新疆 乌鲁木齐 830011

摘要：针对传统图卷积网络易忽略空间特征与时间特征之间关联的问题，设计了一种基于残差结构和图卷积网络相融合的双流网络模型。首先网络包括空间流和时间流两个通道，将手势骨骼数据构建成空间图和时序图作为两通道的输入，通过分离时间维度和空间维度极大地提高了训练速度。然后为了增加网络深度，避免梯度消失等问题，嵌入残差结构并对其进行改进，更加有效利用时间特征，保证了特征的多样性。最后将两通道输出的空间点集序列和时间边集序列串联转化，输入Softmax分类器进行分类，得到识别结果。将新提出的方法在CSL和DEVISIGN-L手势数据集上进行实验，结果表明在两个数据集上识别精度分别达到了96.2%和69.3%，证明该方法具有一定的先进性。

关键词：手势识别; 残差结构; 双流图卷积网络

基金资助：国家海洋局重大专项项目 (国海科字[2016]494号No.30)