双重注意力引导的弱监督雨滴图像增强

来源：电子测量技术杂志2022年第4期北京时间：

作者：蒲燕虹，张金艺，姜玉稀

单位：1. 上海大学 特种光纤与光接入网重点实验室 特种光纤与先进通信国际合作联合实验室 上海 200444; 2. 上海三思系统集成研究所 上海 201100

摘要：基于深度学习的雨滴图像增强方法普遍存在高度依赖配对样本数据集，雨滴去除后图像背景细节模糊等问题。对此，本文提出一种双重注意力引导的弱监督雨滴图像增强方法。该方法设计构建弱监督雨滴图像增强网络，仅需来自雨滴图像域与干净图像域的图像进行训练，可有效降低对配对样本数据集的依赖性；同时，将双重注意力引入生成网络，引导特征提取与多分支掩模生成，掩模同输入的雨滴图像融合后，获得背景清晰的干净图像，实现雨滴图像增强。实验结果表明，该方法在Raindrop数据集上PSNR达到27.0711 dB，SSIM达到0.8996，更好地保留了图像背景细节与颜色信息，证明该方法的可行性与有效性。

关键词：深度学习;雨滴图像增强;弱监督;双重注意力;循环生成对抗网络

基金资助：高等学校学科创新引智计划(111)资助(D20031)、十三五国家重点研发计划(2017YFB0403500)资助