融合任务知识的多模态知识图谱补全

来源：软件学报杂志2025年第4期北京时间：

作者：陈强，张栋，李寿山，周国栋

单位：陈强，苏州大学 计算机科学与技术学院, 江苏 苏州 21500611,张栋，苏州大学 计算机科学与技术学院, 江苏 苏州 21500602,李寿山，苏州大学 计算机科学与技术学院, 江苏 苏州 21500603,周国栋，苏州大学 计算机科学与技术学院, 江苏 苏州 21500604

摘要：知识图谱补全任务旨在根据已有的事实三元组(头实体、关系、尾实体)来挖掘知识图谱中缺失的事实三元组. 现有的研究工作主要致力于利用知识图谱中的结构信息来进行知识图谱补全任务. 然而, 这些工作忽略了知识图谱中蕴含的其他模态的信息也可能对知识图谱补全有帮助. 并且, 由于基于特定任务的知识通常没有被注入通用的预训练模型, 因而如何在抽取模态信息的过程中融合任务的相关知识变得至关重要. 此外, 因为不同模态特征对于知识图谱补全的贡献不一样, 所以如何有效地保留有用的多模态信息也是一大挑战. 为了解决上述问题, 提出一种融合任务知识的多模态知识图谱补全方法. 利用在当前任务上微调过的多模态编码器, 来获取不同模态下的实体向量表示. 并且, 通过一个基于循环神经网络的模态融合过滤模块, 去除与任务无关的多模态特征. 最后, 利用同构图网络表征并更新所有特征, 从而有效地完成多模态知识图谱补全任务. 实验结果表明, 所提出的方法能有效地抽取不同模态的信息, 并且能够通过进一步的多模态过滤融合来增强实体的表征能力, 进而提高多模态知识图谱补全任务的性能.

关键词：知识图谱补全;多模态;知识融合;多模态融合

基金资助：国家自然科学基金(62206193, 62076176, 62076175)