基于 BERT-BILSTM 的医疗文本关系提取方法

来源：计算机技术与发展杂志2022年第04期北京时间：

作者：龚汝鑫;余肖生

摘要：健康医疗文本关系提取可充分利用医疗资源,为构建医院系统和相关知识图谱奠定基础,但健康医疗文本上下文联系紧密,内容结构复杂,使用传统的机器学习方法无法充分学习并利用文本中所包含的信息,且由于未针对文本中包含的医疗领域专业名词进行处理,使研究所需的重要实体流失,导致准确率不高。 因此,提出了一种基于 BERT 和 BILSTM融合的健康医疗文本关系提取方法,在预处理阶段进行医疗关键词提取,使用 BERT 语言模型进行词嵌入,再结合 BILSTM和注意力机制进行特征处理,最后使用 Softmax 分类器输出类别概率值,确定实体间关系类别。 基于两个临床医疗数据集的实验验证结果, 与单向 LSTM、 CNN、 BIGRU 等模型进行比较分析, BERT - BILSTM - ATT 模型表现最优, 精确率提高3.35% 以上、召回率提高 1. 28% 以上、F1 值提高 2. 58% 以上,基于 BERT 和 BILSTM 融合的健康医疗文本关系提取方法能准确有效地预测健康医疗文本中实体之间存在的关系类别。

关键词：关系提取;双向长短期记忆神经网络;注意力机制;健康医疗文本;BERT