基于多任务学习CNN辅助Transformer的手部mesh重建

来源：计算机应用研究杂志2022年第12期北京时间：

作者：谢苏,张孙杰,王永雄,颜婷丽,

单位：上海理工大学a.光电信息与计算机工程学院;b.理学院,上海200093；

摘要：针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题，首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图，通过多任务学习CNN的框架对2D信息进行特征提取，并针对手的拓扑结构进行信息融合增强。为了解决Transformer encoder中的隐层embeddings维度一致性以及参数过大问题，设计了一种新的 MLP（multi-layer perception）模块嵌入Transformer encoder之间，达到embeddings的数量渐进增加以及其维度渐进减少的目的，从而完成手部mesh精细化的预测。实验结果表明该CNN与Transformer混合的新框架在 FreiHAND 和 RHD 数据集均取得了较好效果。

关键词：手势姿态估计,手部mesh重建,HOG特征,多任务学习,Transformer,

基金资助：国家自然科学基金资助项目(61673276,61603255)；；