基于注意力机制的多尺度特征融合图像去雨方法

来源：南京信息工程大学学报·自然科学版杂志2023年第5期北京时间：

作者：刘忠洋，周杰，陆加新，缪则林，邵根富，江凯强，高伟

单位：刘忠洋,南京信息工程大学 人工智能学院(未来技术学院), 南京, 210044,周杰,南京信息工程大学 人工智能学院(未来技术学院), 南京, 210044,zhoujie45@hotmail.com陆加新,南京信息工程大学 电子与信息工程学院, 南京, 210044,缪则林,南京信息工程大学 人工智能学院(未来技术学院), 南京, 210044,邵根富,杭州电子科技大学 自动化学院, 杭州, 310018,江凯强,南京信息工程大学 人工智能学院(未来技术学院), 南京, 210044,高伟,南京信息工程大学 人工智能学院(未来技术学院), 南京, 210044

摘要：雨纹分布和形状具有多样性，现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此，本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成，多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息，并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合，组间利用全局特征融合注意力模块更好地融合不同层次的特征，通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比，本文方法的定量指标有着明显提高，去雨后的图像视觉效果较好且具有良好的泛化性.

关键词：图像去雨;多尺度;特征融合;残差网络;坐标注意力

基金资助：国家自然科学基金（61971167，62101275，62101274）；江苏省信息与通信工程优势学科建设项目