基于多特征融合的图像修复算法

来源：电子测量技术杂志2024年第18期北京时间：

作者：蒋行国，黎明

单位：1.四川轻化工大学自动化与信息工程学院 宜宾 644000; 2.人工智能四川省重点实验室 宜宾 644000

摘要：针对现有图像修复算法修复结果存在结构一致性差和纹理细节不足等问题，在生成对抗网络（GAN）的框架下，提出一种基于多特征融合的图像修复算法。首先，采用双编码解码结构提取纹理和结构特征信息，并引入快速傅里叶卷积残差块，有效捕获全局上下文特征。然后，通过注意力特征融合（AFF）模块完成结构与纹理特征之间的信息交换，提高图像的全局一致性。并利用密集连接特征聚合（DCFA）模块在多个尺度上提取丰富的语义特征，进一步提升修复图像的一致性和准确性，以呈现更精细的内容。实验结果表明，在破损区域占比为40%~50%时，相较于最优对比算法，所提算法在CelebA-HQ数据集上PSNR和SSIM分别提高1.18%和0.70%，FID降低3.99%。在Paris StreetView数据集上PSNR和 SSIM分别提高1.17%和0.50%，FID降低2.29%。实验证明所提算法能有效修复大面积破损图像，修复结果具有更合理的结构和丰富的纹理细节。

关键词：图像修复;生成对抗网络;多特征融合;快速傅里叶卷积残差块

基金资助：四川轻化工大学人才引进项目（2019RC12）资助