注意力机制与神经渲染的多视图三维重建算法

来源：电子测量技术杂志2024年第5期北京时间：

作者：朱代先，孔浩然，秋强，刘树林，张亚莉

单位：1.西安科技大学通信与信息工程学院 西安 710054; 2.西安科技大学电气与控制工程学院 西安 710054

摘要：针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题，首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块，在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息，从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制，使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络，该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息，并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性，有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试，点云重建的完整性和整体性指标分别为0.289和0.326，与基准方法CasMVSNet相比，分别提升24.9%和8.2%，即使在挑战性区域也得到高质量的重建效果；在室外Tanks and Temples中级数据集中，点云重建的平均F-score为60.31，与方法UCS-Net相比提升9.9%，体现出较强的泛化能力。

关键词：多视图立体网络;三维重建;注意力机制;神经渲染

基金资助：国家自然科学基金(51774235)、陕西省重点研发计划项目（2021GY-338）、西安市碑林区科技计划项目（GX2333）资助