多尺度语义学习的人脸图像修复

来源：南京信息工程大学学报·自然科学版杂志2023年第5期北京时间：

作者：左心悦，郝子娴，杨有

单位：左心悦,重庆师范大学 计算机与信息科学学院, 重庆, 401331,郝子娴,重庆师范大学 计算机与信息科学学院, 重庆, 401331,杨有,重庆师范大学 重庆国家应用数学中心, 重庆, 401331,20130958@cqnu.edu.cnis_first_author:0,is_contact_author:,sequence:3,first_name:,middle_name:,last_name:,resume:,institute_superscript:

摘要：针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题，以生成对抗网络为基础，提出一种多尺度语义学习的编解码人脸图像修复模型.首先，将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量，用不同尺寸的卷积核提取多尺度特征，通过提取合适的局部特征来提升修复结果的细节；其次，将提取的多尺度特征输入至语义学习模块，从通道和空间两个角度学习特征之间的语义关系，从而增强修复结果的全局一致性；最后，引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失，改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验，结果表明提出的模型在峰值信噪比、结构相似性、l1三个性能指标上均有显著提升，修复的结果在视觉上局部细节和全局语义更合理.

关键词：图像修复;多尺度;语义学习;卷积神经网络;生成对抗网络

基金资助：重庆市研究生联合培养基地项目（2019-45）；重庆市教育委员会人文社会科学研究规划项目（21SKGH044）