基于扩散模型微调的高保真图像编辑

来源：计算机应用杂志2024年第11期北京时间：

作者：刘雨生, 肖学中

单位：南京邮电大学 计算机学院、软件学院、网络空间安全学院，南京 210023

摘要：针对目前主流的图像编辑方法存在任务单一、操作不友好、保真度低等问题，提出一种基于扩散模型对图像进行高保真编辑的方法。该方法将目前主流的稳定扩散模型作为骨干网络，首先使用低秩适用（LoRA）方法对模型进行微调，使模型能够更好地重建原始图像；其次，使用微调后的模型将图片与简单的提示词通过设计的框架进行推理，最终生成编辑后图像。另外，在上述方法基础上扩展提出了双层U-Net结构用于特定需求的图像编辑任务以及视频合成。与领先的方法Imagic、DiffEdit、InstructPix2Pix在Tedbench数据集上的对比实验结果显示：所提方法能够对图像进行包括非刚性编辑的多种编辑任务，可编辑性强；而且在学习感知块相似性（LPIPS）指数上比Imagic下降了30.38%，表明该方法具有更高的保真度。

关键词：扩散模型,图像编辑,低秩适用,模型微调,U-Net