基于多模态大模型的透明印花素材生成方法

来源：计算机测量与控制杂志2025年第5期北京时间：

作者：李华军,蒋俊豪,金海云,朱威

摘要：针对现有的图像生成模型无法满足纺织领域对生成多样透明印花素材专业要求的问题，提出了一种基于多模态大模型的透明印花素材生成方法；采用美学评分预测器构建高质量印花素材数据集，并使用多模态大语言模型BLIP3进行数据集的标签语义生成；通过多尺度分桶训练的方式微调SD模型，并改进VAE模型将图像透明信息引入到图像生成空间中，使得能够直接生成高质量的透明印花素材。实验结果表明，所设计方法在文生图、图生图两种模式下都能生成内容和风格多样的透明印花素材，并且生成素材的边缘细节明显好于深度学习图像分割模型的结果。

关键词：稳定扩散模型;图像生成;多模态大模型;印花素材

基金资助：杭州市重大科技创新项目(2022AIZD0077);国家自然科学基金联合重点(U24A20270)