山东大学学报·工学版杂志投稿格式参考范文：基于空间注意力及条件增强的文本生成图像方法

　　0 引言

　　近年来，生成对抗网络(GAN)在图像修复、图像风格迁移、增强超分辨率和文本图像生成等方面广泛应用。其中，文本图像生成是 GAN 最重要的研究领域之一，构建相关模型能为大众提供便利。虽然文本生成图像技术有显著发展，但结合计算机视觉和自然语言处理两大领域的任务仍具挑战性，存在生成图像真实感缺失、文本和图像语义不一致等问题。为解决这些问题，许多学者运用不同模型结构取得突破，如经典的堆叠式模型(StackGAN、AttnGAN 等)和单阶段模型(DF - GAN 等)。堆叠式模型存在生成图像模糊、训练困难等问题，DF - GAN 虽为单阶段模型，能避免不同生成器之间的纠缠，但其训练也存在不稳定性，且忽略了生成图像与文本描述之间的语义一致性。针对上述问题，本文在 DF - GAN 基础上进行改进，主要研究工作如下：

　　增加条件增强模型，提高训练稳定性，增加生成图像多样性。在原有的 DF - Block 模块中增加一层 Affine 仿射块，从文本分布出发拟合图像分布，增加视觉特征多样性，扩大表现空间。在判别器中加入空间注意力模型，提高文本与合成图像之间的语义一致性。本文提出的改善模型方法在文本生成图像的初始得分(inceptionscore，IIS)和真实样本、生成样本在特征空间之间的距离(Fréchrtinception distance，FFID)两项评价指标结果中取得较大提升。

　　1 相关研究

　　文本生成图像是将自然语言文本转化为计算机可处理的表示形式，并利用图像生成算法生成对应图像。在深度学习技术出现之前，主要依赖传统方法生成图像，包括基于规则、纹理和统计的方法，这些方法各有局限性。随着深度学习技术发展，文本生成图像技术的实现过程分为自然语言处理和图像生成两个主要步骤，自然语言处理常用方法包括词向量表示、循环神经网络和变换器模型等，图像生成方法包括基于卷积神经网络生成对抗网络、变分自编码器等。

　　文本描述生成相关图像跨模态任务最早由文献提出采用 GAN 方式，后续出现了多种改进模型，如 GAN - INT - CLS、StackGAN、StackGAN++、AttnGAN、ControlGAN、DM - GAN 等。但现有能够生成高质量图像的生成对抗网络大多采用堆叠式结构，存在生成图像模糊、牺牲文本对齐部分性能、跨模态注意力应用尺度受限等缺陷。DF - GAN 使用一个生成器、一个判别器和一个预训练过的文本编码器，存在细粒度视觉特征合成能力受限、缺乏视觉特征多样性、训练不稳定以及忽略语义一致性等问题。

　　2 基于空间注意力及条件增强的文本生成图像网络模型

　　针对 DF - GAN 的不足，本文以 DF - GAN 为基础，加入空间注意力机制和条件增强网络，改进后的模型称为基于空间注意力及条件增强的文本生成图像模型(ACDF - GAN)。ACDF - GAN 由文本编码器、条件增强模块、生成器和一个具有空间注意力的匹配感知判别器组成。文本编码器采用预训练好的具有双向长短期记忆(LSTM)的编码器，本研究使用 AttnGAN 作为预训练模型。

　　条件增强模型：堆叠式模型 StackGAN 首次应用条件增强技术，通过文本编码器后的句子特征 s 的高斯分布得到平均协方差矩阵和对角协方差矩阵，进而得到条件向量。组合向量的方式能缓解图像文本匹配时的数据压力，增强对条件流形上小扰动的鲁棒性。

　　生成器模型：生成器由 7 个 UPBlocks 组成，DF - Block 是原有模型 DF - GAN 的深度文本图像融合块，叠加了多个 Affine 仿射块和 ReLU 层。UPBlock 有两块 DF - Block，DF - Block 由 3 个 Affine 仿射块、3 个 ReLu 激活层和一个卷积层构成，这种结构能使文本和图像特征融合更充分，扩大融合模块的表示空间。Affine 仿射块由两个多层感知器组成，用于对视觉特征图进行通道方向的标度和移位运算。

　　具有空间注意力的匹配感知判别器：判别器由匹配感知梯度惩罚、单向输出和空间注意力组成。在判别器中加入空间注意力，可促进生成器生成更真实、更符合文本语义一致性的图像。通过图像特征和句子特征生成注意力映射，抑制无关区域的句子向量，为了稳定 GAN 训练，计算注意力概率时使用软阈值函数，空间注意力模型有助于判别器确定文本、图像是否匹配。

　　损失函数：判别器的训练目标是将生成器生成的不匹配图像作为负样本，监督生成器生成关联性更强的图像，使用 hingeloss 的匹配感知梯度惩罚作为损失函数。生成器的损失函数则根据判别器的输出进行定义。

　　3 试验结果与分析

　　试验环境及数据集：本研究采用的硬件环境包括 Intel (R) Core (M) i5 - 12400f CPU、NVIDIA GeForce RTX3090 GPU，操作系统为 64 位的 Ubuntu18.04，使用 CUDAToolkit11.3、Python 3.8 和 Pytorch1.9 深度学习框架。试验使用的数据集为公开数据集 Caltech - UCSDBirds - 200 - 2011(CUB)、Oxford102 Flowers 以及 COCO 数据集。

　　试验设置：训练阶段网络优化器采用 Adam，根据双时间刻度更新规则，生成器学习率设为 0.0001，判别器学习率设为 0.0004，训练中 BatchSize 设为 16。不同数据集的训练轮数不同，CUB 和 Oxford102Flowers 数据集训练轮数设为 600 轮，COCO 数据集设为 120 轮。优化器 Adam 的β1设为 0.0，β2设为 0.9。

　　评价指标：选择IIS和FFID作为 ACDF - GAN 模型性能的评价指标。IIS将清晰度和多样性作为图像生成效果的评价指标，IIS越大，生成图像的效果越好，图像越清晰，质量越高，越具多样性。FFID根据预训练网络提取特征测量真实图像分布与生成图像分布之间的距离，FFID越小越好。

　　定量与定性结果分析：在 CUB、Oxford102Flowers 以及 COCO 数据集上进行测试，随机生成约 30000 张图像，计算IIS和FFID并与当前主流模型比较。结果表明，与之前的 DF - GAN 相比，本研究方法在 CUB 数据集上IIS提高了 2.05%，在 Oxford 102Flowers 数据集上提高了 2.63%;在 CUB 数据集与 COCO 数据集上FFID分别降低了 20.73% 和 9.25%，

　　IIS和FFID均优于目前其他主流网络。从视觉结果角度观察生成图像质量，在 CUB 数据集上，本研究模型在纹理特征和细节方面表现更好，与文本描述更符合;在 COCO 数据集上，图像具有清晰的纹理和丰富的色彩，证明本研究生成图像在语义一致性和图像质量方面都有极大提升。

　　消融试验：为验证条件增强模块与空间注意力模块的有效性，设置 DF - GAN、DF - GAN - CA、DF - GAN - ST 和 DF - GAN - CA - ST 4 组对比试验。结果表明，条件增强模块与空间注意力模块对图像的生成结果均有正向调节作用，将两个模块相结合可达到最佳效果，空间注意力能识别与标题相关的区域，使判别器能在图像与标题之间做出更好的比较。

　　4 结束语

　　本研究对 DF - GAN 进行改进，引入条件增强模型提高训练稳定性和生成图像多样性，在 DF - Block 模块中增加 Affine 仿射块扩大表现空间，在判别器中加入空间注意力模型提高语义一致性。试验结果表明本研究模型在IIS和FFID上取得较好效果。但本研究网络模型较大，训练时间长，部分文本类别生成的图像存在扭曲，语义细节上有偏差，需在后续工作中继续优化模型，完善模型结构。

马军;车进;贺愉婷;马鹏森,宁夏大学电子与电气工程学院;宁夏沙漠信息智能感知重点实验室,202406