基于双融合图注意力网络多模态知识图谱链路预测

来源：计算机技术与发展杂志2024年第07期北京时间：

作者：张冬;梁平;顾进广;

单位：1. 武汉科技大学 计算机科学与技术学院,湖北 武汉 430065;2. 智能信息处理与实时工业系统湖北省重点实验室,湖北 武汉 430065

摘要：知识图谱链路预测是一种根据知识图谱已存在的事实去预测缺失事实的任务,旨在解决知识图谱不完整性问题。但是现有的知识图谱链路预测有一定的缺陷,传统方法只使用单一的数据模态,没有充分利用不同数据模态的丰富信息,并且在图神经网络中孤立地看待实体和关系,没有考虑到不同邻域实体关系权重的不同。为了解决上述缺陷,提出了基于双融合图注意力网络的多模态知识图谱链路预测模型。首先,使用了图像、文本和属性3种模态,同时为了保证数据模态特征的一致性和互补性,设计了一个基于早期融合和晚期融合结合的双融合机制对多模态信息进行融合;然后,为了加强知识图中实体关系的融合以及邻域关系,同时考虑了实体以及关系的多样性,融合了实体表示和关系表示,并通过图注意力网络进行聚合以加强实体的特征表示。通过在4个公开的数据集FB15K-237、WN18RR、DB15K以及YAGO15K进行模拟实验,结果表明,提出的多模态知识图谱链路预测方法具有较好的性能。

关键词：多模态;知识图谱;链路预测;模态融合;图注意力网络