《计算机技术与发展杂志》发表论文赏析
作者:张钊源*;曾志高;谢峥嵘;张建明
摘要:随着深度神经网络的迅速发展,图像修复技术取得了重要突破,在诸多领域得到了广泛应用。通常的图像修复方法采取不断增加网络层数或利用膨胀卷积来达到扩大感受野的目的,这可能会导致网络训练困难、参数量和计算量增加、修复结果容易产生伪影等问题。因此,设计了一种基于快速傅里叶卷积模块和空间掩码注意力机制的图像修复算法,包括图像修复主分支和滤波器预测辅助分支。首先,设计了一种快速傅里叶卷积模块将图像转换到频域进行处理,这使得图像中的噪声和纹理细节更加显著。其次,在空域上对图像进行处理,将破损图像的上下文信息和经编码器处理后的特征进行结合,再采用可学习的空间信息传播操作依次在两个不同空间维度上提取特征,提出了一个空间掩码注意力模块。另外,构建了一个轻量的滤波器预测网络,得到的两个滤波器用于图像修复主分支,对提取的特征和修复结果进行逐像素滤波,强化了边缘细节并进一步去除了噪声。最后,在CelebA、Paris Street View以及Places2三个公开数据集上与目前先进的修复方法进行了比较,实验结果表明,该方法能够取得更好的性能和视觉效果。
关键词:图像修复;生成对抗网络;快速傅里叶卷积;空间掩码注意力机制;滤波器预测网络