基于扩散生成对抗网络的文本生成图像模型研究

来源：电子与信息学报杂志2023年第12期北京时间：

作者：赵宏, 李文改

单位：兰州理工大学计算机与通信学院 兰州 730050

摘要：文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展，但GANs方法的模型存在训练不稳定的问题。为解决这一问题，该文提出一种基于扩散Wasserstein生成对抗网络(WGAN)的文本生成图像模型(D-WGAN)。在D-WGAN中，利用向判别器中输入扩散过程中随机采样的实例噪声，在实现模型稳定训练的同时，生成高质量和多样性的图像。考虑到扩散过程的采样成本较高，引入一种随机微分的方法，以简化采样过程。为了进一步对齐文本与图像的信息，提出使用基于对比学习的语言-图像预训练模型(CLIP)获得文本与图像信息之间的跨模态映射关系，从而提升文本和图像的一致性。在MSCOCO,CUB-200数据集上的实验结果表明，D-WGAN在实现稳定训练的同时，与当前最好的方法相比，FID分数分别降低了16.43%和1.97%，IS分数分别提升了3.38%和30.95%，说明D-WGAN生成的图像质量更高，更具有实用价值。

关键词：文本生成图像, 生成对抗网络, 扩散过程, 对比学习的语言-图像预训练模型, 语义匹配

基金资助：国家自然科学基金(62166025)，甘肃省重点研发计划(21YF5GA073)