生成对抗网络与文本图像生成方法综述

来源：计算机工程与应用杂志2023年第19期北京时间：

作者：赖丽娜, 米瑜, 周龙龙, 饶季勇, 徐天阳, 宋晓宁

单位：江南大学 人工智能与计算机学院，江苏 无锡 214122

摘要：随着多传感器的普及，多模态数据获得科研和产业面的持续关注，通过深度学习来处理多源模态信息的技术是核心所在。文本生成图像是多模态技术的方向之一，由于生成对抗网络（GAN）生成图像更具有真实感，使得文本图像生成取得卓越进展。它可用于图像编辑和着色、风格转换、物体变形、照片增强等多个领域。将基于图像生成功能的GAN网络分为四大类：语义增强GAN、可增长式GAN、多样性增强GAN、清晰度增强GAN，并根据分类法提供的方向将基于功能的文本图像生成模型进行整合比较，厘清脉络；分析了现有的评估指标以及常用的数据集，阐明了对复杂文本的处理等方面的可行性以及未来的发展趋势；系统性地补充了生成对抗网络在文本图像生成方面的分析，将有助于研究者进一步推进这一领域。

关键词：多模态,生成对抗网络,文本图像生成,深度学习