基于语义空间感知与注意力的文本生成图像方法

来源：计算机技术与发展杂志2025年第03期北京时间：

作者：欧阳安杰;孙大盟;何立明

摘要：文本生成图像任务中存在图像与文本描述不匹配现象以及图像生成质量不佳的现象。 为了改善文本与生成图像之间的匹配程度以及更高质量地生成图像,该文提出了一种新颖的生成对抗网络模型(WSA-GAN)。 将单词文本编码后的嵌入向量经过交叉注意力方法以及置信度特征融合方法,有效地将单词级语义特征与图像隐藏特征融合。 同时引入了语义空间感知卷积模块(SSACN)并对其进行改进,采用深度可分离卷积替代了普通卷积,减少模型参数量,达成改善模型复杂度的目的,并利用自注意力与卷积混合层(ACMix)来捕获图像特征中各个像素之间的关系,在保证模型复杂度的条件下建模特征之间的长距离关系,使得模型能够捕获更广泛的上下文信息,在提高图像质量的同时,提升了文本与生成图像之间的对齐程度。 通过在 CUB-200-2011 数据集上进行验证,对比主流模型,生成质量与文本对齐度均有一定程度的提高。

关键词：生成对抗网络;多模态融合;注意力机制;文本描述生成图像;深度学习