基于多尺度 Scale-Unet 的单样本图像翻译

来源：计算机技术与发展杂志2024年第04期北京时间：

作者：周蓬勃;冯龙*;寇宇帆

单位：1. 北京师范大学 艺术与传媒学院,北京 100032;2. 西北大学 信息科学与技术学院,陕西 西安 710127

摘要：随着生成对抗网络(GAN) 的发展,基于单样本的无监督图像到图像翻译(UI2I) 取得了重大进展。 然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息。 为解决这个问题,提出了一种基于尺度可变 U-Net 结构( Scale—Unet)的新型单样本图像翻译结构 SUGAN。 所提出的 SUGAN 使用 Scale—Unet 作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征。 同时,提出了尺度像素损失 scale-pixel 来更好地约束保留原始内容信息,防止信息丢失。 实验表明,与 SinGAN、TuiGAN、TSIT、StyTR2 等公共数据集 Summer－Winter、Horse－Zebra 上的方法相比,该方法生成图像的 SIFID 值平均降低了 30% 。 所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像。

关键词：单样本图像翻译;Scale-Unet;多尺度结构;渐进方法;尺度像素损失