基于多掩膜技术的无监督深度与光流估计方法

来源：上海理工大学学报杂志2024年第2期北京时间：

作者：张旭东，赵柏淦，吴国庆，姚建南

单位：南通大学 信息科学技术学院，南通 226019,南通大学 机械工程学院，南通 226019,南通大学 信息科学技术学院，南通 226019,南通大学 机械工程学院，南通 226019

摘要：针对自动驾驶领域现有方法在处理动态、遮挡等复杂实际场景时存在的估计不准确问题，提出了一种以多掩膜技术为基础的无监督深度与光流估计方法，通过无监督学习从单目视频序列中提取目标深度、相机运动位姿和光流信息。根据不同外点类型设计了多种特定掩膜，以有效抑制外点对光照一致性损失函数的干扰，并在位姿估计和光流估计任务中起到剔除外点的作用。引入预训练的光流估计网络，协助深度和位姿估计网络更好地利用三维场景的几何约束，从而增强联合训练性能。最后，借助训练得到的深度和位姿信息，以及计算得到的掩膜，对光流估计网络进行了优化训练。在KITTI数据集上的实验结果表明，该策略能够显著提升模型的性能，并优于其他同类型方法。

关键词：无监督学习;深度估计;位姿估计;三维重建

基金资助：国家自然科学基金资助项目（51805273）；江苏省青蓝工程和江苏省高等学校重点学科建设计划资助项目