武汉大学学报·工学版杂志投稿格式参考范文：基于扩散模型的图像生成方法研究综述

　　近年来，随着人工智能(artificial intelligence，AI)技术的快速发展，人工智能生成内容(artificial intelligence generated content，AIGC)在各行各业掀起了一股热潮，其本质是通过 AI 技术来生产内容，包括文本、图像、音频等。其中最广为人知的一个应用是 OpenAI 的 CHATGPT(chat generative pretrained transformer)，其使用海量数据训练具有数千亿参数的大语言模型，实现了文本生成，还能根据上下文进行互动，如同聊天交流，甚至可以完成撰写论文、文案创作、翻译等任务。

　　在计算机视觉领域，AIGC 也有众多进展。根据用户输入的文本提示，来自 OpenAI 的 DALL-E2 和 GLIDE(guided language to image diffusion for generation and editing)可以自动生成符合文本描述的图像;谷歌的 Imagen 也可以根据不同的文本提示进行艺术创作;特别的，根据文本、语义分割图等多模态信息，Stability AI 推出的 Stable Diffusion 通过在维度更低的潜在空间融合不同模态的条件信息，实现了更为准确和真实的图像生成。与此同时，国内也有众多研究机构进行了相关研究。清华大学和阿里巴巴使用基于自注意力机制的深度学习模型架构 Transformer 推出了文本图像生成模型 Cogview;百度和浙江大学分别基于扩散模型对风格增强和风格迁移的图像生成相关工作进行了研究;北京大学和微软亚洲研究院联合推出了真实场景的图像生成模型 DiVAE(variational autoencoder architecture model with a diffusion decoder)。人工智能在图像生成领域的诸多应用也促进了各行各业的发展与变革，如艺术创作、动漫设计、图像编辑等。

　　目前使用 AI 技术的图像生成工作大多都基于扩散模型，利用扩散模型的多样性可以生成丰富多样的高清图像，但鲜有学者对基于扩散模型的图像生成方法的研究现状进行系统地梳理和总结。文献 [13] 虽然对扩散模型进行了较为全面的综述，但主要是对扩散模型在所有领域而非图像生成领域的相关工作进行探讨;文献 [14] 则从训练和采样 2 个方面对生成扩散模型进行综述研究。为了更好地探索图像生成算法的未来发展趋势，提高后续研究工作的有效性，发掘更有潜力的研究方向，本文对近年来基于扩散模型的图像生成方法的最新工作进行了综述。目前使用扩散模型的图像生成方法根据输入条件和应用场景的不同，研究侧重点也各不相同，故本文将从加速采样、可控性和图像编辑 3 个方面开展综述分析。研究成果将丰富扩散模型和图像生成的相关知识体系，阐明其发展趋势和后续有价值的研究方向。

　　生成模型是一类深度学习模型，通过对原始数据分布进行建模学习，然后从学习到的数据分布中进行采样，以生成与原数据集数据分布一致的新样本。常用的生成模型有生成对抗网络(generative adversarial nets，GAN)和变分自编码器(variational auto-encoders，VAE)等，其在图像生成领域有诸多应用。与 GAN 和 VAE 的一次性生成不同，扩散模型作为近年来新兴的一类生成模型，在逐步加噪和降噪的过程中训练深度学习模型学习数据分布。根据加噪和采样过程的不同，扩散模型主要分为基于概率和基于分数的扩散模型。

　　去噪扩散概率模型(denoising diffusion probabilistic models，DDPM)在 2020 年被提出后，便引起了研究人员的广泛关注。给定训练数据，训练深度学习模型在正向和逆向扩散过程中学习原始数据的数据分布，从而生成符合原始数据分布的新样本。在正向过程中，扩散模型逐步往图像中添加噪声，直至其变为各向同性的高斯噪声;而逆向过程从随机噪声开始，训练一个模型逐步从高斯噪声中移除在正向过程中添加的噪声，直至生成符合原始数据分布的新样本，其训练目标是优化重新加权的变分下界。

　　在基于概率的扩散模型中，降噪过程可以看作沿着分数(梯度)的方向前进。与 DDPM 的马尔科夫链式结构不同，文献 [18] 直接从分数匹配算法推导，通过建模近似估计原始数据

　　pdata(x)的分数(即基于数据样本的一阶偏导∇xlogpdin(x))，再通过基于分数的采样方法(如朗之万动力学)即可生成新样本。之后，在文献 [19] 中，通过缓慢注入噪声将复杂的数据分布平滑地转换为已知的先验分布以及相应的逆时间的随机微分方程(stochastic differential equation，SDE)，缓慢去除噪声，将先验分布转换回原数据分布，进行精确的似然计算，并提高采样效率。

　　基于概率和基于分数的扩散生成模型一经提出，相关的研究工作层出不穷。最初的工作大多集中在像素空间的无条件图像生成，且由于扩散模型较长的采样过程，部分工作关注于加速采样。随着文献 [21] 提出分类器引导的条件采样过程，基于概率的扩散模型的采样质量显著提高，越来越多的研究人员投入到基于扩散模型的条件图像生成工作中，通过级联扩散模型、结合 CLIP(contrastive language-image pretraining)的隐空间等方法，实现了高清分辨率(1024×1024)的图像生成。

　　由于在像素空间扩散需要大量的内存空间和计算资源，文献 [7] 提出了基于隐空间扩散的条件扩散生成模型，不仅可以在计算资源有限的情况下进行扩散生成，还可以通过条件控制开关实现较为准确的条件图像生成。随后，出现了大量基于隐空间的文本图像生成工作。除了条件图像生成，部分研究人员基于扩散模型实现了诸如图像修复和风格迁移等计算机视觉任务，极大地丰富了扩散模型在图像生成领域的应用。除了加速采样和可控性，图像编辑是近年来备受关注的一个领域。本文将从这 3 个方面介绍分析基于扩散模型的图像生成研究现状，并指出值得进一步研究的问题和发展方向。

　　在扩散生成模型中，无论是基于概率还是基于分数的扩散模型都需要较长的时间步，逐步迭代以生成服从原始数据分布的新样本。为了解决扩散模型采样时间较长的问题，最典型的两类方法分别是以隐式扩散模型(denoising diffusion implicit models，DDIM)为代表的非马尔科夫采样过程和一致性模型。

　　DDPM 在没有对抗训练的情况下实现了高质量的图像生成，但其采样过程依赖马尔科夫假设，需要较长的时间步才能得到较好的生成结果。在 DDIM 中，提出了一个非马尔科夫链的采样过程p(xx−1∣xx,x0)，同时满足 DDPM 正向过程的数据分布，从而可以直接使用 DDPM 训练好的模型在不显著降低采样质量的情况下加速采样。基于 DDIM 的推理分布，选择不同的σi值，即对应不同的采样过程。由于不依赖马尔科夫链的特性，可以从原始 DDPM 的 T 步采样过程中筛选一个长度为 S 的子集进行扩散采样，即可在不显著降低图像质量的情况下加速采样。利用确定性的扩散模型，有许多相关的扩展工作，如 SinSR(single-step super-resolution)通过减少可接受的推导步骤来实现输入噪声图像和生成结果的映射，仅需一个推理步骤即可实现超分辨率任务;GDDIM(generalized denoising diffusion implicit models)从数值角度研究了 DDIM，并将其扩展到了通用的扩散模型以加速采样等。

　　在基于分数的扩散模型中，用 SDE 扩散存在一个常微分方程，使用降噪分数匹配可以训练深度学习模型预测得分函数，但需要较长的步骤生成新样本。在一致性模型中，通过定义一致性函数可以解决这个问题。一致性模型假设存在一个一致性函数 f，对于采样过程中的每个先验分布(xi,t)，函数 f 都能输出一个相同的值，并且在轨迹的起点t=ε，有f(xε,ε)=xε，那么在轨迹中的任意一点代入先验分布即可得到f(xT,T)=x0，从而完成一步采样，加速采样过程。

　　此外，DeepCache 通过缓存深度学习网络中的高级特征来减少每步采样的计算量，从而达到加速采样的效果;Resfusion 逐步生成分割掩码或任何类型的目标图像，通过在扩散过程中重新加噪的平滑等价变换确定最佳加速步骤，将端到端模型与 DDPM 结合，进一步提高性能。这些相关研究都为扩散模型的加速采样提供了新的选择。

　　在最初的基于概率的扩散模型和基于分数的扩散模型中，可以采样得到符合原始数据分布的新样本，但由于其随机性，无法对生成结果做更准确的控制，如生成特定类别的图像等。由此出现了许多关于扩散模型可控性方面的研究，如分类器引导和无分类器引导的扩散过程，通过 2 种不同的范式在扩散过程中引入条件信息，更准确地控制生成结果。此外，Stable Diffusion 通过交叉注意力机制，将条件信息融合到深度学习模型中，用于噪声的预测，实现条件图像生成，并启发了许多后续工作。

　　2021 年，OpenAI 提出分类器引导的扩散采样，使得扩散模型能够按照类别生成。此后有众多相关研究工作，如文献 [58] 将分类器引导扩展到语义扩散，通过梯度引导使得扩散模型可以按照图像、文本和多模态条件生成图像。这类方法只作用于采样过程。基于分类器引导的扩散采样可以很好地权衡生成质量和可控性，甚至当预训练扩散模型本身带有条件信息时，加入分类器引导仍然能提高生成图像和输入条件的匹配度。在 OpenAI 提出分类器引导的扩散采样后，出现了许多基于分类器引导的相关工作，如 FedCADO(classifier-assisted diffusion for one-shot federated learning method)有条件地编辑随机采样的初始噪声，并利用分类器的统计数据在生成过程中提供详细指导，从而将扩散模型与单次联邦学习结合以准确生成样本;Guided-TTS(guided text to speec)通过在大规模语音识别数据集上训练的音素分类器，并基于分类器引导的扩散采样范式，根据文本进行语音合成等。

　　分类器引导的条件生成虽然可以根据特定条件生成与之匹配的样本，但存在一些问题，如额外的分类器的质量会影响生成效果，且梯度更新会导致对抗攻击效应，生成图像可能会通过人眼不可察觉的细节欺骗分类器，进而影响条件控制的准确度。2022 年，谷歌提出了无分类器引导的扩散模型来规避上述问题，并通过改变引导权重控制生成图像真实性和多样性的平衡。此后，有许多研究工作基于此范式实现条件图像生成。无分类器引导的核心是通过一个隐式分类器来替代显式分类器，而无需直接计算显式分类器及其梯度。根据贝叶斯公式和相关公式，分类器的梯度可以用条件生成概率和无条件生成概率表示，并将其转换为噪声预测网络的形式。扩散采样的每一步中的噪声可由带条件的噪声预测模型和无条件的噪声预测模型表示，而不依赖额外的分类器模型。因此，无分类器引导的扩散需要训练 2 个模型：一个无条件生成模型和一个条件生成模型。在实现中，这 2 个模型可以用同一个模型表示，只需在训练时以一定概率将条件置空即可。采样时，最终生成结果可以由条件生成和无条件生成的线性组合获得，通过权重因子调节生成效果，控制生成样本的真实性和多样性的平衡。

　　分类器引导和无分类器引导的扩散模型属于 2 种不同的范式，将条件信息融合进深度学习网络一般通过注意力机制实现。注意力机制允许模型动态权衡输入中不同部分的重要性，并赋予不同的权值。根据查询向量 Q 和键向量 K 的点积作为它们的相似度度量，并使用 Softmax 函数进行归一化得到权重矩阵，将权重矩阵与值向量 V 相乘得到加权后的输出结果。Transformer 中对权重矩阵按照 K 的维度进行缩放，得到注意力机制 Attention。根据 Q、K、V 的不同，注意力机制有不同的变体，如自注意力机制和交叉注意力机制。根据不同的任务和条件的特性，在深度学习模型中使用不同的注意力机制变体，使得模型可以更好地关注到条件信息，从而更好地控制生成结果。

　　随着扩散模型在图像生成任务上的优秀表现，许多研究人员也将扩散模型应用于图像编辑工作。图像编辑可以看做以输入图像为条件的图像生成。由于扩散模型固有的随机性，图像的高级语义难以保持。在 DDIM 中，在给定初始噪声的情况下，最终采样结果是确定的，但这也限制了图像编辑的操作空间。因此，目前有 3 类相关研究工作。

　　第 1 类方法借助于掩码(mask)，包括用户输入的显式掩码和模型生成的隐式掩码，在掩码区域融合原始图像信息来保持非目标区域的不变性。利用 CLIP、BlendDiffusion 在每个去噪步骤中融入输入图像背景部分噪声来改善不连贯性，从而引导 DDPM 进行图像融合;DIFFEDIT 通过对比修改前后文本的差异生成目标主体的掩码，借助该掩码和 DDIM 的确定性降噪过程来修改图像中的主体而保持背景不变;MAG-Edit(mask-based attention-adjusted guidance for localized image editing in complex scenarios)基于掩码实现了复杂场景的图像局部编辑。

　　第 2 类方法借助于确定的采样过程，其采样结果在给定初始噪声后是确定的。基于反演(inversion)的编辑方法属于这一类，其将原始图像的噪声版本作为输入，通过额外条件信息或限制对噪声图像进行降噪，以得到编辑后的结果。TIC 利用从注意力层中获取的反演特征来增强采样过程，实现准确的重建和内容一致性编辑，并提出基于掩码引导的注意力连接策略，扩展了该方法在通用编辑场景中的适用性;FPI(fixed-point inversion)提出了一种基于固定迭代点的图像反演方法，能够有效地将图像转换为潜在向量并从中重建图像;CycleDiffusion 将图像映射到确定性扩散过程的隐空间。这些方法都利用确定性扩散模型实现了图像的局部编辑。

　　第 3 类方法的采样过程起源于随机噪声，通过在采样过程中添加额外条件或约束来保持编辑前后非目标组件的高级语义的一致性，也被称为无反演(inversion-free)的方法。文献 [49] 通过配准 StyleGAN 的隐空间和 Stable Diffusion 来完成基于文本的图像编辑;DDCM(denoising diffusion consistent model)使用 source 和 target 双支结构，在编辑过程中融合源图像信息来不断优化目标输出，实现了图像局部编辑。

　　上述 3 类方法大大促进了扩散模型在图像编辑领域的发展，并且逐渐成为近年来的一个研究热点。除了自然图像和艺术创作的生成和编辑，扩散模型在其他计算机视觉的诸多领域都有相关应用，如 Texture 可以根据给定文本进行 3D 造型的生成;利用扩散模型，相关工作可将给定人脸和文本转换成其他风格的画像，如卡通人物、素描等;也有部分学者将扩散模型应用到手写汉字生成任务中，借助扩散模型的多样性生成多种不同字迹的手写汉字图像;在贴近人们日常生活方面，PIDM(physics-informed diffusion model)利用扩散模型实现了人物虚拟姿势转换。扩散模型的应用不断丰富着人们的日常娱乐生活。

　　本文全面阐述了基于扩散模型的图像生成方法的研究现状和最新研究成果，对比分析了基于概率和基于分数的扩散模型，并从加速采样、可控性和图像编辑 3 个方面分析总结了不同模型的研究进展。本文介绍了加速采样的相关研究工作，通过不同的非马尔科夫链的采样过程减少采样步骤，从而加速采样。此外，为提高生成图像的可控性，研究者使用分类器引导或无分类器引导的范式，并在深度学习模型内部结合注意力机制，将条件信息融入扩散过程，以准确控制采样结果。最后，对图像编辑相关工作做了分类总结和介绍。

　　本文对基于扩散模型的图像生成方法未来发展方向进行以下展望：

　　通过分类器和无分类器引导，扩散模型可以对生成结果进行控制，但目前为止大多数相关工作只进行实体级别的控制，如生成特定类别的图像，鲜有工作能进行属性级别的控制，因此对扩散模型进行更细粒度的控制逐渐成为今后的发展趋势之一。

　　随机扩散模型由于其随机性，在图像编辑任务中难以保持输入图像的高级语义一致性;确定性扩散模型虽然可以保持编辑前后图像的语义一致，但限制了图像编辑的操作空间。如何在保持输入图像高级语义一致性和图像编辑操作空间之间找到平衡值得未来深入研究。

龚帅;邓勇;向金海,农业农村部智慧养殖技术重点实验室;农业智能技术教育部工程研究中心;华中农业大学信息学院;中国船舶集团有限公司第七二二研究所,202501