CLIP视觉语义驱动的图像去雨模型

来源：电子与信息学报杂志2026年第4期北京时间：

作者：孙瑾, 崔云通, 田宏伟, 黄长城, 汪纪钢

单位：南京航空航天大学民航学院 南京 211106

摘要：图像去雨是计算机视觉领域的基础任务，现有方法过度依赖假设雨模型或合成雨数据集，导致真实场景去雨效果泛化性能不足。该文分析发现对比语言-图像预训练(CLIP)模型图像编码器对雨纹干扰的鲁棒性，将去雨任务转化为基于视觉语义引导的像素级回归问题，提出基于冻结对比语言-图像预训练(FCLIP)策略的图像去雨模型FCLIP-UNet。该模型采用对称的编码器-解码器结构(U-Net)：编码器截取CLIP-RN50图像编码器的4层结构实现雨纹与图像内容语义的自动解耦；解码阶段采用(ConvNeXt-T)与上采样深度卷积模块(UpDWBlock)串行结构，结合跳跃连接中嵌入层级差异化扰动策略实现高层语义引导下的细节恢复与泛化能力的协同增强。定量和定性实验结果表明，FCLIP-UNet在公开合成数据集和真实雨图数据集上均取得最优或具有竞争力的性能，并在包含真实雨图的多个独立数据集上表现出良好的泛化性能。

关键词：图像去雨, 对比语言-图像预训练, 卷积神经网络, U型网络结构, 泛化性能

基金资助：国家自然科学基金(61702260)