基于扩散模型微调的局部定制图像编辑算法
来源：计算机应用研究杂志2025年第2期北京时间：
作者：杜佳俊,兰红,王超凡,
单位：1.江西理工大学信息工程学院,江西赣州341000；2.中山大学附属第三医院内分泌与代谢病学科广东省糖尿病防治重点实验室,广州510630；
摘要：针对现有基于扩散模型的图像编辑方法存在无法灵活控制图像编辑区域以及生成个性化内容等问题，提出一种基于扩散模型微调的局部定制图像编辑算法。该方法借助稳定扩散模型作为基础框架，首先从给定的一组图像和词嵌入中学习概念嵌入，并且为了提高模型的训练效率，解决由少量数据训练而产生的过拟合问题，在微调过程中通过分析训练过程中各层参数变化的程度降低训练参数数量；然后在联合分割模型中通过局部选择步骤得到掩码特征，进一步精确识别编辑区域边界，从而保护了非编辑区域内容；最后将参考图像、掩码特征和与定制概念绑定相关的条件文本描述共同输入微调模型中，使其在编辑区域精确生成定制内容，增加了在编辑区域生成用户定制内容的灵活性。在DreamBench数据集上的实验结果显示，相较于其他先进方法，该方法在CLIP-T、MS-SSIM评价指标上分别提高了12.2%、13.9%，表明该方法在文本对齐和结构一致性等方面均优于其他的主流方法，为用户提供了更加准确的个性化概念图像编辑方法。
关键词：图像编辑,扩散模型,模型微调,局部定制,
基金资助：广州市科技计划资助项目(2023A04J1087)；；
