面向缺陷识别的可解释视觉问答方法
来源：计算机集成制造系统杂志2025年第6期北京时间：
作者：左戴悦, 蒋文波, 郑杭彬, 鲍劲松
单位：东华大学机械工程学院
摘要：针对光伏板缺陷识别任务中深度学习方法的可解释性,提出一种数据和知识融合驱动的可解释光伏缺陷视觉问答框架。首先采用串联的深度学习模型执行光伏板缺陷识别任务;然后微调图文多模态模型以学习专家知识对检测模型的热注意力图的评价;最后设计专用提示词模板,将来自多个层级的信息整合到自然语言对话的形式中,基于多模态大语言模型解释光伏板缺陷识别模型,拓展了检测结果的工业场景适用性,增强了缺陷检测模型的可解释性,实现了准确可靠的视觉问答,提升了光伏板缺陷识别任务的效率和可用性。
关键词：光伏板,缺陷识别,多模态,可解释性,视觉推理
