时间:
1 引言
同步定位与地图构建(SLAM)技术在移动机器人、自动驾驶等领域应用广泛,但现有视觉 SLAM 方案(如 VINS-Mono、ORB-SLAM3 等)在光照充足环境表现良好,不适用于低照度场景。
低照度场景下的研究主要集中在图像增强,方法包括基于直方图均衡化、Retinex 理论和深度学习的增强方法。其中,直方图均衡化方法简单但易导致细节消失;Retinex 理论方法能保留细节但计算复杂;深度学习方法适应性好,如基于深度注意力机制的图像增强方法、Zero-DCE 网络等。
目前低照度场景下定位技术研究较少,虽有基于深度神经网络的视觉测距、生成对抗网络改善图像质量等方法,但缺乏完整定位技术方案支撑视觉导航。
本文提出低照度场景下的视觉定位技术,包括:结合 U-Net 网络与注意力机制的图像去噪网络、基于四叉树改进的 ORB 特征均匀提取策略、基于光束平差法的位姿估计与优化。
2 总体方案
定位系统分为三部分:
图像去噪处理:采用微光传感器采集图像,在视觉跟踪前加入基于深度学习的去噪模块提升图像质量,为后续处理奠定基础。
特征跟踪:基于四叉树思想划分图像网格,改进特征分布策略,避免特征集中分布,利用对极几何、三角测量估计帧间位姿,选取关键帧建立帧间关系。
位姿估计与优化:利用光束平差法构建视觉重投影误差方程,求解最小二乘问题完成局部位姿估计和优化;基于词袋模型进行闭环检测,估计全局位姿图。
3 基于深度学习的视觉前端去噪处理
3.1 低照度图像去噪网络
微光传感器成像过程中会产生固定噪声(如散粒噪声、暗电流噪声)和时变噪声(如读出噪声),其中散粒噪声和暗电流噪声服从泊松分布,读出噪声服从高斯分布。
在 Neighbor2Neighbor 去噪网络基础上加入注意力机制,由通道注意力模块与空间注意力模块组合学习图像特征。通道注意力模块通过卷积层和 “压缩 - 激励” 操作,学习不同尺度的通道特征并分配注意力权重;空间注意力模块利用非局部自注意力网络,探索像素间全局依赖,提升降噪性能,同时采用残差连接避免网络退化。
3.2 图像去噪实验与分析
实验基于 SIDDM 和 LLID 数据集展开,LLID 是利用微光传感器采集的私有数据集,包含 100 对低照度图像及 2000 张噪声图像,分辨率为 1280×1024。
采用 Python 和 PyTorch 框架,在 3 块 Nvidia 3090 GPU 上训练测试,使用 Adam 优化器。预训练和微调阶段设置不同的 epoch、学习率等参数。
实验结果表明,改进后的去噪网络 PSNR 和 SSIM 指标显著提升,引入通道注意力和空间注意力模块均能提高模型性能。
4 低照度场景下的视觉跟踪与位姿估计
4.1 特征跟踪技术
采用 ORB 特征跟踪,提取 FAST 角点和 BRIEF 描述子,通过汉明距离匹配。针对低照度下特征提取不均匀问题,基于四叉树网格分配思想改进特征提取和分布策略。利用四叉树筛选特征,剔除冗余,当网格特征点数>1 时四等分区域提取,点数为 1 或达到期望特征数时停止分裂,保留 Harris 响应值最大的特征点,并对不同金字塔层设置不同深度以提高效率。计算特征点的方向与描述子。
4.2 位姿估计与优化
视觉定位系统以第一帧为参考帧,相机光心为原点,z 轴指向前方,x 轴向右,y 轴向下。搭载 IMU 获取尺度信息,视觉初始化时计算相邻帧平移向量,IMU 通过加速度二次积分求得实际尺度信息,计算尺度因子并归一化坐标点,尺度因子稳定后 IMU 不再参与后续位姿估计。
5 低照度场景下的定位实验
5.1 实验准备
选取 PHOTONIS 的 NOCTURN U3 超低照度 CMOS 成像器件、XSENS MTI-G-710 惯性测量元件等设备,实验轨迹真值由高精度实时差分定位系统测得,环境光照强度由 KLL-04 型弱光照度计测得,选取两个室外 0.01 lx 光照强度的低照度场景进行实验。
5.2 小车实验
场景为北京理工大学中关村校区停车场,以高精度卫导数据为真值参考。实验结果表明,本文方法定位精度高于 ORB-SLAM3,轨迹闭环时平均定位均方根误差<1.47 m。
5.3 手持实验
场景为北京市海淀区苏家坨稻香湖路稻香湖公园,ORB-SLAM3 难以完成定位任务,本文方法在轨迹无闭环时平均定位均方根误差<4.26 m。
实验表明,本文方法能在 0.01 lx 光照环境下实现视觉定位。
6 结论
本文提出低照度场景下单目视觉定位技术,主要工作包括:提出集成通道注意力机制的图像去噪网络,提升低照度图像质量。采用基于改进四叉树的特征均匀分布策略,提高特征提取效率和跟踪效果。构建基于最小二乘的非线性优化估计器,利用词袋模型完成定位任务。实验验证方法可行,定位精度优于 ORB-SLAM3,闭环和无闭环时均方根误差分别<1.47 m 和<4.26 m。后续将研究视觉惯性紧耦合技术,提升定位系统精度。
李磊磊;钟 傲;郝家镁;陈家斌;韩勇强,北京理工大学自动化学院,202409