基于BERT嵌入和对抗训练的农业领域命名实体识别

来源：湖北农业科学杂志2022年第18期北京时间：

作者：费凡, 杨林楠

单位：云南农业大学大数据学院,昆明 650201

摘要：面向农业领域的命名实体识别任务是农业领域中信息提取及问答系统的关键步骤,目标是从海量非结构化农业文本中找出需要的命名实体,通常存在诸如实体名称多样和上下文语义缺失等挑战。为完成复杂语境下的农业命名实体识别任务,首先构建一个农业领域的标注语料库,其中包含6类实体共16 048个样本;接着将BERT预训练语言模型作为词嵌入层,相比较传统词嵌入模型,很好地解决了不同语境下同一词语的不同语义以及指代问题;然后利用BiGRU网络模型进行上下文编码;最后利用CRF优化输出标注。同时,对输入数据引入一定的噪声,以此进行对抗训练来提高模型的泛化性和鲁棒性。经过试验,提出模型的准确率、召回率、F值分别为92.75%、91.53%、92.49%,与基线模型相比,该方法的性能表现更好,可以有效地识别出农业领域命名实体。

关键词：农业,自然语言处理,命名实体识别,信息抽取,BERT,BiGRU,对抗训练

基金资助：云南省重大科技项目专项计划项目（202002AD080002）