基于Transformer的多阶段运动模糊图像修复网络

来源：计算机工程杂志2024年第9期北京时间：

作者：朱凯, 李理, 张彤, 江晟, 别一鸣

单位：1. 长春理工大学物理学院, 吉林 长春 1300222. 长春理工大学电子信息工程学院, 吉林 长春 1300223. 吉林大学交通学院, 吉林 长春 130022

摘要：运动模糊是导致图像退化的常见原因, 其限制了图像的可读性和后续处理效果。针对卷积网络感受野有限以及常规多阶段网络中信息丢失的问题, 提出一种基于Transformer的多阶段去模糊网络。网络采用多阶段编码器-解码器结构, 在单个阶段内和多个阶段间采用跳跃连接来增强信息的传递。首先, 高效Transformer模块采用通道注意力和深度卷积来处理图像的全局和局部信息; 其次, 多分支结构的前馈传播网络通过引入多个并行的分支, 实现了不同尺度和不同层次的特征提取和融合; 最后, 通过多阶段的残差处理实现更优的图像恢复结果。实验结果显示, 在GoPro数据集上该网络的峰值信噪比(PSNR)达到32.23 dB, 结构相似性指数(SSIM)达到0.955, 在HIDE数据集上PSNR和SSIM分别达到30.15 dB和0.930, 优于DeepDeblur、DeblurGAN-V2等模型。

关键词：深度学习,Transformer模型,注意力机制,图像修复,多尺度网络

基金资助：吉林省科技发展计划重点研发项目(20210203214SF)