多模态知识图谱构建技术及其在军事领域的应用综述

来源：计算机工程与应用杂志2024年第22期北京时间：

作者：姚奕, 陈朝阳, 杜晓明, 姚天磊, 李青尚, 孙鸣蔚

单位：中国人民解放军陆军工程大学 指挥控制工程学院，南京 210007

摘要：随着数据资源类型的丰富与大模型技术的发展，能够处理多源异构数据的多模态知识图谱（multimodal knowledge graph，MMKG）以出色的数据处理与管理能力而被广泛关注。结合领域需求与特性，对多模态知识图谱构建技术及其在军事领域的应用展开总体概述。基于传统文本知识图谱的相关概念，对多模态知识图谱的基本概念、研究现状进行梳理，分析总结了多模态信息抽取、多模态实体链接、多模态表示学习三个多模态知识图谱构建的关键技术，以及大模型技术在多模态知识图谱构建过程中的应用，探讨了多模态知识图谱在军事领域中的应用场景。最后结合大模型热点和军事需求，对多模态知识图谱构建技术的发展前景及军事应用进行总结与展望。

关键词：多模态知识图谱,构建技术,大语言模型