面向农作物病虫害领域的命名实体识别

　　摘要：命名实体识别是信息抽取的基础任务，面向农作物病虫害领域的命名实体识别对于农业信息化建设具有重要意义。为了提高面向农作物病虫害领域命名实体识别的准确率，本文提出了采用字符级词性标注与自定义领域词典结合双向长短时记忆网络(Bi-LSTM)+条件随机场模型(CRF)的方法对“病虫害”、“作物”、“地名”、“农药”4类实体词进行识别。实验表明，该方法的准确率达到了97.10%，因此该模型能够有效应用于农作物病虫害领域的命名实体识别任务。

　　关键词：命名实体识别;Bi-LSTM;CRF;病虫害

　　农作物病虫害是我国主要的农业灾害之一。农作物是指具有经济价值而被用于田间种植的植物，包括粮食、棉麻、油料、糖烟、茶桑等作物。农作物在其生长过程中，经常会受到各种病虫害为害，比如：稻飞虱、叶锈病、玉米蚜等，严重影响农作物的质量和产量。由于农作物的病虫害种类繁多、生长发育规律各有不同，因此，认识病虫害、掌握其生活习性等特点，对于病虫害的有效防控极为重要[1-3]。

　　农作物论文范例：白水县农作物种质资源普查与收集工作探析

　　命名实体识别(namedentityrecognition，NER)又称实体抽取，其目的是从文本中抽取实体信息元素，包括人名、地名、组织机构名等[4-5]。目前，基于通用领域的命名实体识别已经相对成熟[6-9]，尤其是人名、地名等实体识别准确率较高，然而，针对农作物病虫害领域的命名实体识别研究甚少，且由于其特定的病害、虫害、病原、药物等实体信息构词复杂，存在大量的单词组合和实体嵌套现象，因而，其识别的准确率较低。

　　1相关工作

　　自1995年提出命名实体概念后[10]，命名实体识别受到国内外研究者的广泛关注。命名实体识别方法主要分为：基于规则、机器学习和深度学习的方法。基于规则的方法通过分析实体构词特点和上下文特征，人工构建规则集合，规则集合需要领域专家参与构建，该方法在小数据集上表现较好，但随着数据量的增大，人工构建成本高昂，可迁移性差。基于机器学习的方法主要包括隐马尔科夫模型[11]、支持向量机[12]和条件随机场[13]等。

　　其中，条件随机场(ConditionalRandomFields，CRF)模型应用较为广泛，CRF是LaffertyJ·D等在2001年提出的一种典型的判别式模型[13]。基于统计机器学习的命名实体识别研究的重点是构建特征集，包括词的上下文信息、词的位置、词语之间的搭配。近年来，基于深度学习的命名实体识别方法因其能够从数据中自主学习特征，而不需要人为设定，在自然语言处理中也获取了广泛的成功。近年来，农业领域命名实体识别的研究随着自然语言处理的浪潮也逐渐受到重视。李想等提出基于条件随机场的农作物病虫害及农药命名实体识别方法[14]，对分词后的语料采用6类特征进行标注，然后采用CRF模型进行分类，进而对农作物、病虫害、农药实体进行识别。

　　张剑等人采用基于条件随机场方法，将农业命名实体分为病虫害、作物、化肥及农药4种实体类别进行命名实体识别[15]，并利用自定义的词性标注集对分词进行标注，后通过CRF模型添加不同特征进行实体识别。李冬梅等提出了BCC-P方法，基于双向长短期记忆网络、卷积神经网络和条件随机场模型的植物属性文本命名实体识别方法[16]。但是面向农作物病虫害领域的命名实体识别仍处于起步阶段，农作物病虫害知识大部分是以非结构化的形式进行存储，如图1所示。农作物病虫害实体识别的主要任务是找到并提取各类农作物病害(比如：条锈病、秃尖、小麦蠕孢叶斑根腐病)、虫害的名称(比如：十四点负泥甲、麦蜘蛛)、病原、药物等特定类型的实体。

　　2农作物病虫害文本命名实体识别方法

　　2.1识别任务本文的数据来源是国家农业科学数据共享中心作物病虫害数据库。该数据库是以非结构化文本的形式存储农作物病虫害相关信息。针对病虫害、与病虫害相关的作物、病虫害易发生的地点、农药等四类实体进行识别。

　　2.2预处理通过网络爬虫获取作物病虫害数据信息并进行预处理。农作物病害、虫害和农药等信息存在大量的专业名词，在分词的过程中并不能有效识别专有名词，如“东方蝼蛄别命非洲蝼蛄”，其中“东方蝼蛄”和“非洲蝼蛄”都是虫害的名字，但是在分词的时候会切分为“东方/蝼蛄/别命/非洲/蝼蛄”。目前针对作物病虫害领域尚没有一份公开的作物病虫害词典，本实验采用网络爬虫的形式对该数据库的表头信息进行爬取，在此基础上进行人工校对建立病虫害领域词典，以增强深度学习的先验知识，对语义特征进行补充，使用jieba进行分词，在对标注集进行自动标注的同时进行人工校对。

　　利用词典的先验知识强化神经网络对各类实体的认识，以弥补实验数据规模上的不足。对于农作物病虫害领域的专有名词，虽然构建了领域词典，但仍然存在不少专有名词未纳入词典，尤其存在较多组合新词，且实验采用的数据集样本较少，因此文本标注的对象采用字级别的标注，以获取更多的标记数量，有利于神经网络的学习。语料标注采用BIO标注集，“B”表示一个字是一个实体词的开始，“I”表示一个字是一个实体词的非开始部分，“O”表示一个字不属于任何实体。

　　2.3基于Bi-LSTM—CRF的实体识别模型为了能充分利用农作物病虫害文本的上下文依存关系，本文采用Bi-LSTM模型进行建模。Bi-LSTM是一种双向长短时记忆网络，一个正向的LSTM利用上文信息，一个逆向的LSTM，利用下文信息，这样，在t时刻，既能利用t-1时刻的信息，也能利用t+1时刻的信息。长短时记忆网络(LongshortTermMemorynetwork，LSTM)是一种特殊的循环神经网络[17]，能够学习长时间依赖。

　　3结果与分析

　　3.1实验数据集

　　本文采用的作物病虫害数据库，是中国农业科学院作物科学研究所建立的，拥有4000多农业病虫害信息。该数据库按照作物种类进行分类，每个类别下详细的按照作物的病害、虫害的名字记录其具体的病虫害信息。对于作物病害信息，记录主要包括病害名称、症状、发生范围、病原、传播途径和发病条件以及防治方法。对于作物的虫害，记录主要包括虫害名称、分布范围、寄主信息、为害特点、形态特征、生活习性和防治方法等。在对爬取的文档进行预处理后得到最终的数据集，数据集的信息如表1所示。

　　由于数据集的规模较小，为了能够充分利用数据集的样本，本实验将数据集按4:1的比例划分训练集和测试集，采用五折交叉验证的方式进行实验。为了验证结合自定义领域词典的Bi-LSTM—CRF神经网络对命名实体识别的意义，辅以CRF模型进行对比实验。

　　4结论

　　本文介绍了一种面向农业病虫害领域的实体识别方法，希望构建农作物病虫害数据集。该方法融合领域词典和深度学习的优势，能够识别出作物病虫害文本中的“病虫害”、“作物”、“地名”、“农药”等实体，且取得了较好的效果。但是农作物病虫害领域命名实体识别任务相较于通用领域的实体识别还存在着很大的提升空间，在未来的研究中，可以构建一个大规模的领域词典，以增强先验知识，构建标准语料库，利用规模更大的语料库来构建高质量的词向量，充分利用词语潜在的抽象特征，以期待进一步提升已有的识别效果。

　　参考文献

　　[1]张奎栋.农作物病虫害专业化防治探讨[J].种子科技,2020,38(3):71+73.

　　[2]刘鑫,郜翻身,高娃等.巴彦淖尔市主要农作物施肥情况调查及存在问题分析[J].内蒙古农业大学学报(自然科学版)，2018，39(3)：15-24.

　　[3]郭沛沛.内蒙古特色农产品产业化发展研究[J].内蒙古农业大学学报(自然科学版),2013,34(2):104-107.

　　[4]LiuL,WangDB.Areviewonnamedentityrecognition[J].JournaloftheChinaSocietyforScientificandTechnicalInformation,2018,37(3):329-340.

　　[5]刘浏,王东波.命名实体识别研究综述[J].情报学报,2018,37(3):329-340.

　　[6]GaoYan,WangYandong,WangPatrick,etal.MedicalNamedEntityExtractionfromChineseResidentAdmitNotesUsingCharacterandWordAttention-EnhancedNeuralNetwork.[J].InternationalJournalofEnvironmentalResearchandPublicHealth,2020,17(5)：1-17.

　　作者：谢聪娇，高静*，陈俊杰