结构文本驱动的小样本专业图像检测方法

来源：计算机应用研究杂志2026年第2期北京时间：

作者：刘磊,袁永宏,何海鹏,冯瀚森,王子珺,

单位：上海理工大学a.管理学院;b.光电信息与计算机工程学院,上海200093；

摘要：针对专业图像检测中良品样本占比过高、异常样本稀缺以及视觉-语言预训练模型在垂直领域表现受限的问题，提出一种结构化文本驱动的专业图像检测方法。首先，通过抖动变换与宫格增强扩充有限异常样本，并结合区域级对齐的结构化文本提升样本“智力密度”；其次，对双向变换表征模型进行适应性改造，引入宫格图像-结构文本对比学习和联合宫格语义-空间一致性双任务，实现跨模态全局与局部特征对齐；最后，将所建模型作为大语言模型的视觉编码器，提供关键检测特征，实现专业图像检测。在ABD-AD、MVTec-AD和VisA数据集上的小样本实验结果表明，所提模型在定位和分类任务上相比现有方法提升了3.10%和3.84%，验证了结构化文本在小样本异常检测中及其在专业图像检测场景下的优越性能。

关键词：异常检测,结构文本,视觉语言模型,小样本学习,大语言模型,深度学习,

基金资助：上海市自然科学基金资助项目(22ZR1443300)；人工智能促进科研范式改革赋能学科跃升计划经费资助项目；；