联合预训练模型和层级注意力的知识超图链接预测

来源：计算机工程与应用杂志2025年第10期北京时间：

作者：庞俊, 梅杰, 林晓丽, 王蒙湘

单位：1.武汉科技大学 计算机科学与技术学院，武汉 430065 ；2.智能信息处理与实时工业系统湖北省重点实验室，武汉 430065；3.中国标准化研究院，北京 100088

摘要：知识超图（knowledge hypergraph，KHG）是超图结构的知识图谱。现有知识超图链接预测模型主要存在以下不足：模型输入时将实体和关系简单地表示为嵌入层的ID（索引），而没有考虑实体和关系之间复杂的联系和语义；编码时只考虑位置和角色信息，而忽略了实体邻域结构和多元关系间的联系，导致实体和关系表示能力不足；模型训练时采样的负样本质量不够高，不能帮助模型高效学习样本特征。针对以上问题，提出一种联合预训练模型和层级注意力的知识超图链接预测模型（link prediction in knowledge hypergraph combining pretrained model and hierarchical attention，LPPH）。该模型引入预训练模型和简化的团式展开方法初始化超图嵌入，将实体和关系之间复杂联系和语义融入至实体和关系嵌入中；编码时使用层级注意力机制聚合实体邻域结构信息以增强实体表示，并使用实体-关系融合操作增强关系表示；提出一种基于过滤机制和主动学习的负样本选择策略，实现模型的高效训练。真实数据集上的大量实验结果验证了LPPH能有效提高知识超图链接预测的效果。

关键词：知识超图,链接预测,预训练模型,层级注意力