基于Swin Transformer的双流遥感图像时空融合超分辨率重建

来源：计算机工程杂志2024年第9期北京时间：

作者：王志浩, 钱沄涛

单位：1. 浙江大学工程师学院, 浙江 杭州 3100152. 浙江大学计算机科学与技术学院, 浙江 杭州 310027

摘要：遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息, 生成同时具有高时序密度的高分辨率遥感图像, 它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展, 研究者们提出了一系列基于CNN的时空融合方法, 然而由于卷积的局限性, 这些方法在全局信息提取方面仍然存在不足。受Swin Transformer全局能力的启发, 提出一种基于Swin Transformer的超分辨重建模型。在特征提取阶段, 引入双流结构, 将特征提取网络分为两个部分, 分别提取时间信息与空间信息, 并通过Swin Transformer的全局能力提升模型性能。在特征融合阶段, 引入结合通道注意力与空间注意力的卷积块注意力模块(CBAM), 用于增强重要特征, 提升图像重建精度。在Coleambally灌溉区(CIA)与Gwydir下游流域(LGC)数据集上将该模型与多种时空融合超分辨率重建模型进行对比实验, 结果表明该模型在各项评价指标上均取得了最优的结果, 具有更出色的性能和更强的泛化能力。

关键词：时空融合,超分辨率重建,Swin Transformer算法,双流结构,卷积神经网络

基金资助：国家自然科学基金(62071421)