基于实时视频流的 3D 人体姿势和形状估计

来源：计算机技术与发展杂志2024年第04期北京时间：

作者：朱越;黄海于;罗学义

单位：1. 西南交通大学 计算机与人工智能学院,四川 成都 611756;2. 消防救援局昆明训练总队,云南 昆明 650217

摘要：为满足元宇宙、游戏及虚拟现实等应用场景中对实时视频流 3D 人体姿势和形状估计准确性和真实性的要求,提出了一种基于时间注意力机制的 3D 人体姿势和形状估计方法。?首先,提取图像特征,并将其输入运动连续注意力模块以更好地校准需要注意的时间序列范围;随后,使用实时特征注意力集成模块以有效地组合当前帧与过去帧的特征表示;最后,通过人体参数回归网络得到最终结果,并使用基于图卷积的生成对抗网络判断模型是否来自真实的人体运动数据。相较于之前基于实时视频流的方法,在主流数据集上加速度误差平均减少了 30% 的同时,网络参数与计算量减少了 65% ,在实际测试中实现了每秒 55 ~ 60 帧的 3D 人体姿态和形状估计速度,为元宇宙、游戏及虚拟现实等应用场景提供更好的用户体验和更高的应用价值。

关键词：三维人体重建;SMPL 模型;实时特征注意力集成;图卷积神经网络;机器学习