高效多尺度卷积自注意力单幅图像除雨方法

来源：计算机测量与控制杂志2022年第6期北京时间：

作者：李民谣,王鑫,颜靖柯,覃琴

单位：桂林电子科技大学 计算机与信息安全学院

摘要：雨天作为较常见的一种自然天气情况，会极大地影响户外视觉系统所拍摄到的图像和视频数据的成像质量并制约后续高级计算机视觉任务的性能；针对目前除雨算法存在伪影残留、细节丢失等问题，为了充分提取图像特征，有效去除雨条纹，提高除雨效率，提出一种新颖的单阶段深度学习除雨方法；采用高效卷积和跨尺度自注意力相结合的方式，弥补纯卷积网络无法满足的全局特征建模能力；嵌入多尺度空间特征融合模块，有效增加网络的感受野，增强网络对不同分布的雨条纹特征的学习能力；设计了一种混合损失函数，利用各损失函数的优势来弥补单一损失函数表现出来的缺陷；经过在不同类型数据集上的大量实验证明，该算法不仅能够有效去除雨条纹，充分保留背景细节，而且处理速度也有显著的提升。

关键词：图像除雨;深度学习;卷积神经网络;自注意力机制;多尺度网络

基金资助：广西自然科学基金面上项目(2019GXNSFAA245053)；广西科技重大专项(AA19254016)；广西硕士研究生创新项目(YCSW2021174)；海洋强国战略下广西海洋文化译介研究(2021KY0184)；北海市科技规划项目(202082033).