应用稳定扩散模型的蓝印花布单纹样自动生成

来源：现代纺织技术杂志2024年第12期北京时间：

作者：冉二飞, 贾小军, 王子祥, 谢 昊, 许聪源

单位：1.嘉兴大学信息科学与工程学院, 浙江嘉兴 314001; 2.浙江理工大学，a.计算机科学与技术学院(人工智能学院)；b.信息科学与工程学院,杭州 310018

摘要：蓝印花布是中国的非物质文化遗产，具有重要的传承创新意义。为了自动生成蓝印花布新纹样，提出一种端到端的蓝印花布单纹样自动生成方法。针对蓝印花布的抽象风格和小数据集问题，改进动态低秩自适应算法(DyLoRA)，提出了新的参数分解法来提高参数矩阵的秩，从而实现对稳定扩散模型的微调，最后将稳定扩散模型的语义信息与承载蓝印花布风格的DyLoRA模块结合，并利用控制网络(Controlnet)控制图形结构，自动生成蓝印花布新的单纹样。使用上述方法进行蓝印花布纹样生成实验，并与原始的DyLoRA方法进行对比。实验结果表明，基于改进的DyLoRA微调和Controlnet控制的模型能通过文本信息自动生成新的单纹样，且主观性上与原始风格最接近，有助于蓝印花布的数字化传承和创新。

关键词：蓝印花布,深度学习,动态低秩自适应,稳定扩散模型,单纹样,纹样生成