基于滑动窗口注意力网络的关系分类模型

来源：计算机技术与发展杂志2022年第06期北京时间：

作者：潘理虎;陈亭亭;闫慧敏;赵彭彭;张睿;张英俊

单位：1. 太原科技大学 计算机科学与技术学院,山西 太原 030024;2. 中国科学院 地理科学与资源研究所,北京 100101

摘要：实体关系抽取是构建知识图谱过程中至关重要的一步。 将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的 BERT 模型在多项自然语言处理任务中都取得了非常好的效果。为了充分融合局部信息和全局信息,并提高处理效率,该文提出了滑动窗口注意力网络模型( Sliding Window AttentionNetwork,SWAN) 。 该模型首先通过预训练的 word2vec 生成词向量,加入位置表示并使用 TransE 模型对实体进行表征以充分突出实体信息,再采用基于 BERT 的 SBERT 模型对句子进行表征,在此基础上采用多种滑动窗口注意力机制捕获局部信息,然后在聚集层对抽取到的局部信息进行聚合,最后利用 softmax 函数来实现实体关系的分类。 实验结果表明,提出的 SWAN 模型在 SemEval2010 Task 8 数据集上取得了较高的准确率,优于对比的现有关系抽取模型,同时模型训练效率也得到极大提升。

关键词：实体关系抽取;滑动窗口;SBERT;注意力机制;局部信息;全局信息