基于全局依赖Transformer的图像超分辨率网络

来源：计算机应用杂志2024年第5期北京时间：

作者：刘子涵, 周登文, 刘玉铠

单位：华北电力大学 控制与计算机工程学院，北京 102206

摘要：目前，基于深度学习的图像超分辨网络主要由卷积实现。相较于传统的卷积神经网络（CNN），Transformer在图像超分辨率任务中的主要优势是它的长距离依赖建模能力；然而大多数基于Transformer的图像超分辨率模型在参数量小、网络层数少的情况下无法建立全局依赖，限制了模型的性能。为了在超分辨率网络中建立全局依赖，提出了基于全局依赖Transformer的图像超分辨率网络（GDTSR），主要组成部分为残差方形轴向窗口块（RSAWB），它的内部轴向窗口Transformer残差层利用轴向窗口和自注意力，可以使每个像素与整个特征图建立起全局依赖。此外，目前大多数图像超分辨率模型的超分辨率图像重建模块都由卷积组成，为了动态整合提取到的特征信息，结合Transformer与卷积，共同重建超分辨率图像。实验结果表明，GDTSR在5个标准测试集Set5、Set14、B100、Urban100和Manga109上的测试结果中，3个倍数（×2，×3，×4）的峰值信噪比（PSNR）和结构相似性（SSIM）均达到了最优，特别是在大尺寸图像的Urban100和Manga109数据集上模型性能的提升尤为明显。

关键词：图像超分辨率,Transformer,自注意力,全局依赖,轴向窗口