融合注意力机制的多模态动漫风格迁移方法

来源：计算机工程与应用杂志2023年第15期北京时间：

作者：聂雄锋, 王俊英, 董方敏, 臧兆祥, 江曙

单位：1.三峡大学 计算机与信息学院，湖北 宜昌 443002；2.三峡大学 湖北省建筑质量检测装备工程技术研究中心，湖北 宜昌 443002 ；3.三峡大学 水电工程智能视觉监测湖北省重点实验室，湖北 宜昌 443002

摘要：由于没有与图像的内容结构相匹配，目前的一些方法在针对具有复杂语义信息和显著性特征的图像的动漫风格迁移时，生成图像存在风格色彩不丰富、伪影、部分内容细节信息丢失等现象，提出一种融合注意力机制的多模态动漫风格迁移方法MastGAN-CBAM，将动漫图像特征聚类成若干子特征分量，并利用GraphCut算法使得这些特征分量和各局部内容图像特征相匹配，再利用Gram矩阵计算这些特征的风格损失，从而构造了一种多模态风格损失函数，由于这种风格损失适应了图像的多模态特征，因此能更有效地对网络参数进行优化和调整，此外方法还引入了混合域注意力机制，提高了模型的效率和准确性，进一步提升了动漫风格迁移效果。实验结果表明，该方法的生成图像细节更完整，动漫风格更显著，且减少了伪影，动漫化效果有一定程度的提高，在《千与千寻》等三组动漫数据集实验中FID评价指标分别达到了164.89、162.02、199.37，在视频动漫风格迁移中也取得了较好的效果。

关键词：深度学习, 动漫风格迁移, 生成对抗网络, 多模态匹配, 注意力机制