基于 MRC 和 ERNIE 的有色冶金命名实体识别模型

来源：计算机技术与发展杂志2023年第10期北京时间：

作者：贵向泉;郭亮;李立

单位：兰州理工大学 计算机与通信学院,甘肃 兰州 730050 Author(s): GUI Xiang-quan;GUO Liang;LI Li School of Computer and Communication,Lanzhou University of Technology,Lanzhou 730050,China 关键词: 有色冶金产业;自然语言处理;命名实体识别;MRC;ERNIE Keywords: nonferrous metallurgy industry; natural language processing; named entity recognition; machine reading comprehension;enhanced representation through knowledge integration 分类号: TP391 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 10. 015 摘要: 命名实体是构建产业企业画像和产业知识图谱的重要依据,为解决现有方法在有色冶金领域命名实体识别任务当中无法充分提取文本语义特征、没有充分利用标签当中的先验知识和嵌套命名实体识别效果不佳的问题,提出了一种基于机器阅读理解框架( MRC) 和知识增强语义表示模型( ERNIE) 的 MEAB ( MRC-ERNIE-Attention-BiLSTM) 模型结构。该模型在 MRC 框架的基础上,引入了基于 Attention 的信息融合策略,将两种不同结构的数据在 ERNIE 预训练模型进行特征提取之后转换为向量,并在信息融合层进行向量融合,使模型能够学习到标签当中的先验知识。 随后 BiLSTM 模型对具有语义信息的向量从两个方向进行特征提取,并在一种多层嵌套命名实体识别器中进行输出,提高嵌套命名实体的识别准确率。在构建的有色冶金领域命名实体识别数据集上的实验表明,MEAB 模型的精确率、召回率和 F1 值分别达到了78. 77% 、79. 76% 和 79. 26% ,证明了该模型的有效性。 Abstract: Named entities are an important basis for building industrial enterprise portraits and industrial knowledge maps. To solve theproblems that existing methods cannot fully extract text semantic features,do not make full use of prior knowledge in labels,and do notperform well in nested named entity recognition tasks in nonferrous metallurgy industry,we propose a MEAB ( MRC-ERNIE-Attention-BiLSTM) model structure based on Machine Reading Comprehension ( MRC ) and Enhanced Representation Through KnowledgeIntegration ( ERNIE) . On the basis of MRC,the information fusion strategy is introduced to convert the data of two different structuresinto vectors after feature extraction in the ERNIE pre training model,and carry out vector fusion at the information fusion level,so that themodel can learn?the prior knowledge in the tag. Then the BiLSTM model extracts the features of vectors with semantic information fromtwo directions and outputs them in a multi-layer nested named entity recognizer to improve the recognition accuracy of nested namedentities. Experiments on the data set of named entity recognition in the field of nonferrous metallurgy industry show that the accuracy,recall and F1 value of MEAB model reach 78. 77% ,79. 76% and 79. 26% respectively,which proves the effectiveness of the model.

摘要：命名实体是构建产业企业画像和产业知识图谱的重要依据,为解决现有方法在有色冶金领域命名实体识别任务当中无法充分提取文本语义特征、没有充分利用标签当中的先验知识和嵌套命名实体识别效果不佳的问题,提出了一种基于机器阅读理解框架( MRC) 和知识增强语义表示模型( ERNIE) 的 MEAB ( MRC-ERNIE-Attention-BiLSTM) 模型结构。该模型在 MRC 框架的基础上,引入了基于 Attention 的信息融合策略,将两种不同结构的数据在 ERNIE 预训练模型进行特征提取之后转换为向量,并在信息融合层进行向量融合,使模型能够学习到标签当中的先验知识。 随后 BiLSTM 模型对具有语义信息的向量从两个方向进行特征提取,并在一种多层嵌套命名实体识别器中进行输出,提高嵌套命名实体的识别准确率。在构建的有色冶金领域命名实体识别数据集上的实验表明,MEAB 模型的精确率、召回率和 F1 值分别达到了78. 77% 、79. 76% 和 79. 26% ,证明了该模型的有效性。

关键词：有色冶金产业;自然语言处理;命名实体识别;MRC;ERNIE