基于改进稳定扩散模型与噪声拼接的文本生成图像算法

来源：南京信息工程大学学报·自然科学版杂志2026年第2期北京时间：

作者：李文瑶，杜洪波，张琪

单位：李文瑶,沈阳工业大学 理学院, 沈阳, 110870,杜洪波,沈阳工业大学 理学院, 沈阳, 110870,张琪,沈阳工业大学 理学院, 沈阳, 110870

摘要：针对文本生成图像算法存在的部分特征缺失、生成图像质量低及布局属性不匹配等问题,提出一种基于改进稳定扩散模型的文本生成图像算法(ISD-NC).通过引入判别器来最大化潜在表征和浅层特征的互信息,提高潜在表征与浅层特征的相似度,保留原始图像信息;根据主干网络和跳跃连接的作用,引入比例因子,动态调节特征的权重比例,提高生成图像的质量;结合NoiseCollage网络,增加布局条件,通过掩膜交叉注意力机制实现复杂的多目标文本条件的图像生成.在MS COCO数据集上与Cogview、DF-GAN、Stable Diffusion、KNN-diffusion算法进行定性和定量分析及消融实验,结果表明:ISD-NC算法生成的图像具有更优的细节保真度和生成质量;与基于扩散模型的Stable Diffusion、KNN-diffusion算法相比,FID平均降低28.99%,IS平均提升10.21%.

关键词：扩散模型;文本生成图像;噪声拼接;互信息;主干网络特征;跳跃连接特征

基金资助：辽宁省科技计划联合计划项目(2025-MSLH-355)