基于生成对抗网络的图像风格迁移

来源：南京信息工程大学学报·自然科学版杂志2023年第5期北京时间：

作者：刘航，李明，李莉，付登豪，徐昌莉

单位：刘航,重庆师范大学 计算机与信息科学学院, 重庆, 401331,李明,重庆师范大学 计算机与信息科学学院, 重庆, 401331,20131052@cqnu.edu.cn李莉,西南大学 计算机与信息科学学院, 重庆, 400715,付登豪,电子科技大学 经济与管理学院, 成都, 611731,徐昌莉,重庆师范大学 计算机与信息科学学院, 重庆, 401331

摘要：生成对抗网络（Generative Adversarial Network，GAN）可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型，GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题，提出了新的风格迁移方法，有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象，将残差模块引入GAN的生成器，并引入自注意力机制，获得更多的图像特征，提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象，在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象，引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明，该方法的生成图像的PSNR值和SSIM值高于同类比较方法.

关键词：生成对抗网络;风格迁移;自注意力机制;谱归一化;感知损失

基金资助：国家自然科学基金（61877051，61170192）；重庆市科委重点项目（cstc2017zdcy-zdyf0366）；重庆市教委项目（113143）；重庆市研究生教改重点项目（yjg182022）