多尺度语义信息无监督山水画风格迁移网络

来源：计算机工程与应用杂志2024年第4期北京时间：

作者：周粤川, 张建勋, 董文鑫, 高林枫, 倪锦园

单位：重庆理工大学 计算机科学与工程学院，重庆 400054

摘要：针对图像转换类的生成对抗网络在处理无监督风格迁移任务时存在的纹理杂乱、生成图像质量差的问题，基于循环一致性损失提出了循环矫正多尺度评估生成对抗网络。首先在网络架构的设计上，基于图像的三层语义信息提出了多尺度评估网络架构，以此强化源域到目标域的迁移效果；其次在损失函数的改进上，提出了多尺度对抗损失以及循环矫正损失，用于以更严苛的目标引导模型的迭代优化方向，生成视觉质量更好的图片；最后为了预防模式崩溃的问题，在风格特征的编码阶段添加了注意力机制以提取重要的特征信息，在网络的各阶段引入ACON激活函数以加强网络的非线性表达能力，避免神经元坏死。实验结果表明，相比于CycleGAN、ACL-GAN，所提出方法在山水画风格迁移数据集上的FID值分别降低了21.80%和34.33%；为了验证模型的泛化能力，在Vangogh2Photo和Monet2Photo两个公开数据集上进行了泛化实验对比，FID值相比于两个对照网络分别降低了7.58%、18.14%和4.65%、6.99%。

关键词：无监督风格迁移,生成对抗网络（GAN）,多尺度评估,CycleGAN