基于多特征增强的手部姿态估计方法

来源：计算机工程与应用杂志2024年第6期北京时间：

作者：奉鑫鑫, 高曙

单位：武汉理工大学 计算机与人工智能学院，武汉 430070

摘要：手部姿态估计是计算机视觉研究的重要方向之一，在人机交互、虚拟现实、机器人控制等应用领域发挥着重要作用。针对目前手部姿态估计存在特征表示方法单一性的问题，提出手部关键点连接关系特征构建方法与基于手部运动语义关系的关键点特征聚合增强方法，提高手部特征表达与信息共享能力；针对手部目标检测与图像分割等预处理方法中存在的遮挡性问题，设计手部轮廓特征提取方法，提高预处理效果；基于所提出的多特征表示与增强方法，构建了一个基于全卷积结构的深度学习神经网络模型，避免直接回归计算3D姿态信息导致的空间信息丢失问题，从而有效提高了3D手部姿态估计精度。在DO、ED、RHD等多个数据集上与SOTA模型相比，均取得了竞争性的效果，且平均AUC结果达到了93.3%，说明所提出的方法也具有较好普适性。

关键词：3D手部姿态估计,特征增强,卷积神经网络,全卷积神经网络