对比学习改进文本生成图像方法的研究

来源：计算机工程与应用杂志2025年第14期北京时间：

作者：赵宏, 王贺, 李文改

单位：兰州理工大学 计算机与通信学院，兰州 730050

摘要：针对现有文本生成图像方法中仅依赖图像和文本之间的语义相似度损失为约束，模型难以有效学习到图像与对应多个文本之间的关系，导致生成图像和文本之间语义匹配度低的问题，提出一种引入对比学习对文本生成图像模型改进的方法。在训练阶段，采用对比学习的方法，计算同一图像的不同文本生成图像之间的对比损失，使模型能够学习同一图像的不同文本表示，以提高生成图像和文本语义的一致性。同时，计算生成图像与真实图像之间的对比损失，保证生成图像向真实图像靠拢。在生成器中，设计一种新的特征融合模块，通过注意力图作为条件，引导图像特征与文本特征对齐，从而提高生成图像的细节表达。实验结果表明，与基准模型相比，在CUB数据集上的Inception Score分数提高了7.32%，Fréchet Inception Distance分数下降了21.06%；在COCO数据集上的Fréchet Inception Distance分数下降了36.43%。证明该方法生成的图像具有更好的文本语义一致性和真实性。

关键词：文本生成图像,生成对抗网络（GAN）,对比学习,特征融合,语义一致性