基于多视频的虚实融合系统

来源：软件学报杂志2016年第S2期北京时间：

作者：潘成伟,张建国,王少荣,汪国平

单位：潘成伟，北京大学 信息科学技术学院, 北京 100871;北京市虚拟仿真与可视化工程研究中心, 北京 10087111,张建国，北京大学 信息科学技术学院, 北京 100871;北京市虚拟仿真与可视化工程研究中心, 北京 10087102,王少荣，北京市虚拟仿真与可视化工程研究中心, 北京 10087103,汪国平，北京大学 信息科学技术学院, 北京 100871;北京市虚拟仿真与可视化工程研究中心, 北京 10087104

摘要：提出了一种基于多视频的虚实融合可视化系统的构建方法，旨在将真实世界中的图像和视频融合到虚拟场景中，用视频图像中的纹理和动态信息去丰富虚拟场景，提高虚拟环境的真实性，得到一种增强的虚拟环境.利用无人机采集图像来重建虚拟场景，并借助图像特征点的匹配来实现视频图像的注册.然后利用投影纹理映射技术，将图像投影到虚拟场景中.视频中的动态物体由于在虚拟环境中缺失对应的三维模型，直接投影，当视点发生变化时会产生畸变.首先检测和追踪这些物体，然后尝试使用多种显示方式来解决畸变问题.此外，系统还考虑有重叠区域的多视频之间的融合.实验结果表明，所构造的虚实融合环境是十分有益的.

关键词：三维重建;增强虚拟;投影纹理映射;背景建模;运动追踪

基金资助：国家自然科学基金（61232014，61421062，61472010，61121002)；国家科技支撑计划（2015BAK01B06)；国家重点基础研究发展计划（973)（2015CB3518806)