基于大语言模型的施工安全多模态知识图谱的构建与应用

来源：计算机工程与应用杂志2025年第9期北京时间：

作者：董磊, 吴福居, 史健勇, 潘龙飞

单位：1.上海交通大学 船舶海洋与建筑工程学院，上海 201100；2.中交一公局厦门工程有限公司，福建 厦门 361021

摘要：现有施工安全管理方法难以有效整合文本与图片多模态信息，针对施工现场安全事故的领域内知识表达和推理能力有限，并且处理和应用数据需要广泛的领域知识和专业背景。针对这一问题，提出一种基于多模态大语言模型的多模态知识图谱构建方法。基于施工安全管理的基本理论和实践经验，构建施工安全知识本体，在此基础上运用多模态大模型构建出多模态知识图谱，解决文本与图片多模态整合以及领域内知识表达和推理能力有限的问题。构建出的知识图谱不仅整合了文本中的事故安全知识，还包含了现场图片信息，提升了知识的全面性和实用性。通过计算准确率、召回率、F1值三个指标对抽取结果进行评价，均得到了很高的分数，验证了大模型对于图片抽取的合理性和准确性。在实际应用中，该方法有助于安全管理人员及时的发现施工现场的安全事故，为管理决策和智能推理提供了重要支持。

关键词：多模态知识图谱,大语言模型,安全管理,知识抽取,本体构建