基于场景模态深度理解网络的单目图像深度理解

来源：计算机工程杂志2021年第2期北京时间：

作者：陈扬, 李大威

单位：东华大学 信息科学与技术学院, 上海 201620

摘要：基于深度卷积神经网络的图像处理方法得到的单目深度图像质量远高于传统图像处理方法，但该方法对无用特征的训练易产生误差积累，且基于回归求解的连续深度距离预测精度较低，导致图像深度信息提取不精确、目标边缘模糊与图像细节缺失。提出一种应用于单目彩色图像的场景模态深度理解网络。建立以堆叠沙漏为主框架的网络模型，通过反复进行自下而上和自上而下的特征提取过程融合低层次纹理与高级语义特征，在每层网络训练中结合离散的深度标签和真实深度图像降低深度理解难度，插入误差修正子模块和极大似然译码优化子模块以准确提取深度特征。实验结果表明，该网络获取的深度信息更准确，其在NYUv2数据集上绝对相关误差较ACAN网络降低0.72%，在KITTI数据集上均方相关误差较GASDA网络降低41.28%，与DORN等深度网络相比，其预测的深度图像包含更多细节信息且目标轮廓更清晰。

关键词：单目深度理解,场景模态标签,有序回归,误差修正,极大似然译码

基金资助：国家自然科学基金（61603089）；上海市自然科学基金（20ZR1400800）。