轻量化人体和手部网格重建

来源：信号处理杂志 2024年第7期北京时间：

作者：安平, 刘熠尧, 周敏, 黄新彭, 杨超

摘要：三维人体网格重建在影视、虚拟现实等下游任务中有广泛应用。然而现有重建方式关注更好的重建精度和纹理表达，也因此更依赖高性能的计算或采集设备，缺乏对低成本、轻量化重建方式的研究。为降低人体重建任务的使用成本和硬件要求，本文提出了一种轻量化的人体和手部网格重建方式，基于参数化模型对身体和手部重建任务进行解耦，针对身体和手部的不同特点分别设计了不同分支网络。身体重建分支和手部重建分支均为编码器-解码器结构。身体重建分支编码器为双阶段编码器，第一阶段通过Litehrnet和Canny算子获得热点图和边缘图，并对图片进行代理表示，第二阶段通过Shufflenet提取全局特征，解码器通过级联低维度多层感知器以概率分布的方式对人体参数进行回归；手部重建分支的编码器以Litehrnet为主干网络获取多分辨率特征分支，通过姿态池化对多分辨率特征分支进行融合得到全局特征，解码器通过深度可分离卷积网络获得手部顶点，并通过MLP对形状进行估计，利用顶点坐标基于逆向拓扑数学求解得到关节旋转参数。与现有方法相比，参数量和计算量显著减少，整体参数量为6.12M，计算量为433M，且具有较好的重建效果，在Human3.6M数据集中平均关节点误差（MPJPE）为86.7 mm，手部重建分支在FreiHand数据集上对齐后平均关节点误差（PA-MPJPE）为10.8 mm。此外该方法完成了在移动设备的推理，在骁龙8Gen3处理器推理速度为79.7 ms（12.5 fps），可以达到实时推理的效果。

关键词：‍‍人体重建, 轻量化网络, SMPL+H模型, MANO模型