基于多模态知识图谱的海事检查智能问答系统构建

来源：计算机工程与应用杂志2026年第13期北京时间：

作者：李至颖, 杨丽娜, 顾振雷, 刘斌, 岳安志, 孟瑜

单位：1.中国科学院 空天信息创新研究院，北京 100094；2.河北海事局，河北 秦皇岛 066000；

摘要：海事检查领域资料具有显著的“图文混排+多模态数据嵌入”特征，现有多模态数据处理技术难以有效实现跨模态信息的深层关联与交互，一定程度上影响了智能问答服务的数据完整性与答案准确性。针对这一挑战，提出一种基于多模态知识图谱与大模型协同增强的海事检查智能问答系统构建方案。该方案利用视觉语言模型对图像及其上下文信息进行语义解析，并构建针对图片、文本、表格等多模态信息的统一描述方案；在此基础上，引入大模型协同构建海事检查领域知识图谱及向量数据库，实现智能问答的分层检索与答案生成。实验结果表明，该系统能够高效融合处理海事检查场景下的多模态数据信息，提供精准且可追溯的答案，显著提升海事检查领域智能问答的整体效果。

关键词：海事检查,大模型,知识图谱,多模态问答系统,检索增强生成