基于神经辐射场的稀疏视角三维重建方法

来源：电子测量技术杂志2024年第20期北京时间：

作者：张超，袁亮，肖文东，冉腾，吕凯

单位：1.新疆大学智能制造现代产业学院 乌鲁木齐 830017; 2.上海交通大学文化创意产业学院 上海 200240

摘要：针对神经辐射场在稀疏视角输入条件下渲染结果过于平滑，细节缺失严重等问题，提出一个基于信息关注抑制模块和双阶段损失的网络模型。首先，为解决细节缺失问题，提出一个信息关注抑制模块，该模块在全连接层各层之间采用特征向量归一化模块过滤权重异常值，并以残差网络级联全局信息和局部信息，最后利用通道注意力将将融合后的信息根据重要度进行区分，有效提高了采样点特征向量的准确性。然后，为了解决渲染结果过于平滑导致感知精度低的问题，设计了一种双阶段损失函数，将训练过程划分为两个阶段，粗阶段仅以RGB损失和深度损失指导训练，细阶段在此基础上还引入感知损失和全变分损失，通过渐进优化的方式，充分利用图片的高级特征，提升图像感知能力。本文算法与其他经典方法进行对比，在LLFF数据集上，定量结果表明，整体性能取得最优值，比次优算法性能提升1.9%，在DTU数据集上，定性结果显示，Scan37、Scan55和Scan63等场景重建的完整性和细节水平具有明显优势。

关键词：三维重建;稀疏视角;神经辐射场;注意力机制;双阶段损失

基金资助：国家自然科学基金（52275003）、新疆维吾尔自治区重大科技专项（2023A03001）资助