基于中国写意风格迁移的动漫视频生成模型

来源：计算机应用杂志2022年第7期北京时间：

作者：毛文涛, 吴桂芳, 吴超, 窦智

单位：1.河南师范大学 计算机与信息工程学院, 河南 新乡 453007；2.智慧商务与物联网技术河南省工程实验室(河南师范大学), 河南 新乡 453007

摘要：目前生成式对抗网络（GAN）已经被用于图像的动漫风格转换。然而，现有基于GAN的动漫生成模型主要以日本动漫和美国动漫为对象，集中在写实风格的提取与生成，很少关注到中国风动漫中写意风格的迁移，因此限制了GAN在国内广大动漫制作市场中的应用。针对这一问题，通过将中国写意风格融入到GAN模型，提出了一种新的中国风动漫生成式对抗网络模型CCGAN，用以自动生成具有中国写意风格的动漫视频。首先，通过在生成器中增加反向残差块，构造了一个轻量级的深度神经网络模型，以降低视频生成的计算代价。其次，为了提取并迁移中国写意风格中图像边缘锐利、内容构造抽象、描边线条具有水墨质感等性质，在生成器中构造了灰度样式损失和颜色重建损失，以约束真实图像和中国风样例图像在风格上的高层语义一致性，并且在判别器中构造了灰度对抗损失和边缘促进对抗损失，以约束重构图像与样例图像保持相同的边缘特性。最终，采用Adam算法最小化上述损失函数，从而实现风格迁移，并将重构图像组合为视频。实验结果表明，与目前最具代表性的风格迁移模型CycleGAN与CartoonGAN相比，所提CCGAN可从以《中国唱诗班》为例的中国风动漫中有效地学习到中国写意风格，同时显著降低了计算代价，适合于大批量动漫视频的快速生成。

关键词：生成式对抗网络,中国风动漫,风格迁移,卡通,深度神经网络

基金资助：国家自然科学基金资助项目(U1904123);河南省科技攻关计划项目(212102210103)