一种无标记的身体与面部运动同步捕获方法

来源：软件学报杂志2019年第10期北京时间：

作者：王志勇,王从艺,张子豪,袁铭择,夏时洪

单位：王志勇，移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190;中国科学院大学, 北京 10004911,王从艺，移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190;中国科学院大学, 北京 10004902,张子豪，移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190;中国科学院大学, 北京 10004903,袁铭择，移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190;中国科学院大学, 北京 10004904,夏时洪，移动计算与新型终端北京市重点实验室(中国科学院 计算技术研究所 前瞻研究实验室), 北京 100190;中国科学院大学, 北京 10004905

摘要：提供了一个无标记点的身体与面部运动同步捕获的方法.利用经过时间同步和空间标定的长焦彩色相机和Kinect相机来进行同步捕获.利用在环境中加入闪光来进行时间同步，使用张氏标定法进行空间标定，从而组成一组时间同步且空间对齐的混合相机（hybrid camera）.然后利用Kinect fusion扫描用户的人体模型并嵌入骨骼.最后利用时间和空间都对齐好的两个相机来进行同步采集.首先从深度图像中得到人脸的平移参考值，然后在平移参考值的帮助下根据彩色图像的2D特征点重建人脸.随后，把彩色图像中得到的头部姿态传递给身体捕获结果.结果对比实验和用户调研实验均表明所提出的运动捕获的结果要好于单个的运动捕获结果.

关键词：运动捕获;人脸人体同步运动捕获;深度图像;多线性模型方法;非刚性迭代最近点方法

基金资助：国家自然科学基金（61772499）