多模态知识图谱融合技术研究综述

来源：计算机工程与应用杂志2024年第13期北京时间：

作者：陈囿任, 李勇, 温明, 孙驰

单位：1.新疆师范大学 计算机科学技术学院，乌鲁木齐 830054；2.新疆电子研究所，乌鲁木齐 830013

摘要：多模态知识图谱融合了视觉、文本等多种模态信息，并以图的形式展现知识结构。随着人工智能的发展，多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比，多模态知识图谱可以多维度理解和展现知识，有更好的表示和应用能力。为了深入研究多模态知识图谱，对多模态知识图谱价值及类别进行了详细的分析与阐述，根据多模态知识图谱构建中融合方法的不同，从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结，重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析，并探讨了多模态知识图谱的局限性，提出了多模态知识图谱领域今后的研究方向。

关键词：多模态知识图谱,语言模型,融合技术,预训练技术