多阶段重建内容协同优化的图像修复算法

来源：信号处理杂志 2025年第2期北京时间：

作者：秦佳, 白慧慧, 王梦丽, 翟双姣, 晋赞霞, 秦品乐, 曾建潮

摘要：随着数字图像技术的快速发展，图像已经成为日常生活学习中信息传递的重要载体之一。然而，由于错误传输、不当存储或者关键信息被遮挡等情况造成的图像信息丢失，往往影响人们对图像信息的理解和分析。近几年，大量渐进式图像修复算法被提出，通过由粗到精的修复方式逐步生成受损图像的缺失信息，使修复后的图像在视觉和内容上接近原始图像。然而，在这种渐进式图像修复的结构中，低渐进层的错误往往容易传递到高渐进层中，造成修复结果在图像内容上有误，难以达到人眼视觉要求。针对这一问题，本文提出了一种多阶段重建内容协同优化的图像修复算法（Image inpainting algorithm based on multi-stage reconstruction collaborative optimization，MSNet），在渐进修复中融入并行结构，通过对三阶段渐进层内容的协同优化，提高修复结果的准确性。具体来说，在该网络的初步修复阶段后，提出了一种并行的图像内容精细化修复模块（Parallel image content refinement module， PCRM），通过基于自注意力的U-Net和增强的残差网络两个分支并行地修复图像结构和细节信息。其中，基于自注意力的U-Net倾向于对图像的结构特征进行抽象提取，并通过Multi-Head自注意力机制进行全局恢复。而增强残差网络结构则通过优化特征值区分度的方式，提升重要细节信息的表征能力，使残差网络能够更关注于重要细节的恢复。在PCRM后，为了融合第二阶段所得的多个修复重建信息，细节-结构融合模块被提出来，将细节信息合理嵌入到结构中，提高多渐进层特征在空间表征上的兼容性，减少纹理与结构不统一所造成的图像视觉不连续问题，以生成更加符合客观现实的修复结果。实验结果表明，与现有的修复算法对比，本文提出的算法可以生成纹理更加清晰，视觉上更加逼真的结果。

关键词：图像修复, 特征融合, 渐进式图像修复, 图像复原