融合多特征与全局－局部协同Transformer的图像修复算法

来源：电子测量技术杂志2025年第6期北京时间：

作者：滕诗宇，何丽君

单位：大连民族大学计算机科学与工程学院 大连 116600

摘要：针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限，提出了一种融合多尺度分层特征与全局局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块，以实现深层特征与浅层特征细节上的有效融合，在扩大感受野的同时减少关键信息丢失情况。其次提出用于全局推理的全局-局部协同Transformer模块，它通过集成矩形窗口注意力机制和局部前馈神经网络，在降低计算复杂度的同时，提高模型对全局上下文信息的宏观理解和对局部细节特征的微观捕捉能力，增强图像的整体一致性。实验在CelebA-HQ和Places2数据集上进行了验证，在处理40%~50%掩码时，所提方法与常用的修复方法对比，PSNR平均提高了0.26~6.25 dB，SSIM平均提升了1.4%~19%，L1平均下降了0.2%~5.66%。实验证明，所提方法修复后的图像在视觉上具有更加真实和自然的效果，进一步验证了该方法的有效性。

关键词：深度学习;图像修复;多尺度分层特征融合;全局局部协同Transformer;矩形窗口注意力机制;局部前馈神经网络

基金资助：辽宁省应用基础研究计划项目(2023JH2/101300191)、辽宁省自然科学基金(2023-MS-133)、辽宁省教育厅科研项目（LJKZ0024）资助