基于 Unity3D 三维多视角虚拟数据集构建

来源：计算机技术与发展杂志2023年第05期北京时间：

作者：郑义桀;罗健欣;陈卫卫;潘志松;张艳艳;孙海迅

单位：陆军工程大学 指挥控制工程学院,江苏 南京 210007 Author(s): ZHENG Yi-jie;LUO Jian-xin;CHEN Wei-wei;PAN Zhi-song;ZHANG Yan-yan;SUN Hai-xun School of Command and Control Engineering,Army Engineering University,Nanjing 210007,China 关键词: 计算机视觉;三维重建;Unity3D;虚拟数据集;DTU Keywords: computer vision;three-dimensional reconstruction;Unity3D;virtual data set;DTU 分类号: TP391. 9 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 05. 026 摘要: 基于深度学习的多视角三维重建( Multi View Stereo,MVS) 是计算机视觉领域的研究热点。 但构建高质量的多视角三维重建数据集需要消耗大量时间、人力和财力成本,因此当前可直接应用于多视角三维重建的数据集相对较少。 为了降低数据集制作成本、提高制作效率,文章提出了一种有效的虚拟世界仿真现实世界的方法。 通过 Unity3D 虚拟引擎,融合域适应和域随机方法,搭建三维虚拟场景,自动高效生成三维多视角虚拟数据( 相机图像、相机参数和场景深度图) ,在此基础上构建了多视角三维重建虚拟数据集 Visual DTU。 实验结果表明,使用虚拟数据集可大幅降低数据集制作的经济和时间成本,且基本能取得与采用真实数据集训练相同的三维重建效果;通过增加虚拟数据集训练样本或混合虚拟数据集和真实数据集进行模型训练,可进一步提升模型性能。 Abstract: Multi View Stereo ( MVS) based on deep learning is a hot research topic in computer vision field. However,it takes a lot oftime,manpower and financial cost to construct high-quality multi-view 3D reconstruction data sets,so there are relatively few data setsthat can be directly applied to multi - view 3D reconstruction at present. In order to reduce data set production costs and improveproduction efficiency,we put forward an effective method of virtual world simulating real world. Through Unity3D virtual engine,domain adaptation and domain randomization methods are integrated to build 3D virtual scenes and automatically and efficiently generate3D multi-view virtual data ( camera image,camera parameters and scene depth map). On this basis,Visual DTU is constructed for multi-view 3D reconstruction virtual data set. The experimental results show that using virtual data sets can greatly reduce the economic andtime cost of data set making,and basically achieve the same effect of 3D reconstruction as using real data sets. The model performancecan be further improved by adding training samples of virtual data sets or mixing virtual data sets and real data sets for model training.

摘要：基于深度学习的多视角三维重建( Multi View Stereo,MVS) 是计算机视觉领域的研究热点。 但构建高质量的多视角三维重建数据集需要消耗大量时间、人力和财力成本,因此当前可直接应用于多视角三维重建的数据集相对较少。 为了降低数据集制作成本、提高制作效率,文章提出了一种有效的虚拟世界仿真现实世界的方法。 通过 Unity3D 虚拟引擎,融合域适应和域随机方法,搭建三维虚拟场景,自动高效生成三维多视角虚拟数据( 相机图像、相机参数和场景深度图) ,在此基础上构建了多视角三维重建虚拟数据集 Visual DTU。 实验结果表明,使用虚拟数据集可大幅降低数据集制作的经济和时间成本,且基本能取得与采用真实数据集训练相同的三维重建效果;通过增加虚拟数据集训练样本或混合虚拟数据集和真实数据集进行模型训练,可进一步提升模型性能。

关键词：计算机视觉;三维重建;Unity3D;虚拟数据集;DTU