基于残差Swin Transformer的SAR与可见光图像融合

来源：计算机应用杂志2025年第9期北京时间：

作者：李进, 刘立群

单位：1.甘肃农业大学 理学院，兰州 730070；2.甘肃农业大学 信息科学技术学院，兰州 730070

摘要：在合成孔径雷达（SAR）与可见光图像的融合研究中，现有方法通常面临着模态间差异大、信息丢失和计算复杂度高等挑战。因此，提出一种基于残差Swin Transformer模块的SAR和可见光图像融合算法。首先，采用Swin Transformer作为主干提取全局特征，并用一个全注意力特征编码主干网络建模远程依赖关系。其次，为了提高融合效果，设计3种不同的融合策略：基于序列矩阵的L1范数的特征融合策略、基于图像金字塔的融合策略及加法融合策略。再次，将3个结果加权平均以得到最终的融合结果，从而有效地调节像素值并减少SAR图像的噪声，更好地保留可见光图像清晰的细节和结构信息，并融合SAR图像和可见光图像不同尺度的地物特征信息。最后，在SEN1-2数据集、QXS-SAROPT数据集以及OSdataset上进行了大量实验。实验结果表明，所提算法与基于卷积神经网络的通用图像融合框架IFCNN、基于潜在低秩表示的多级分解（MDLatLRR）等算法相比，主观视觉效果更优，在大多数客观评价指标上有明显提升，且在保留源图像特征的同时具备优秀的噪声抑制和图像保真能力。

关键词：合成孔径雷达,可见光图像,图像融合,Transformer,深度学习

基金资助：国家自然科学基金资助项目(32460440);甘肃省高校教师创新基金资助项目(2023A-051)