基于多重卷积神经网络模型的命名实体识别

来源：计算机技术与发展杂志2023年第01期北京时间：

作者：赵建强;朱万彤;陈诚

单位：1. 厦门市美亚柏科信息股份有限公司,福建 厦门 361008;2. 西安电子科技大学 计算机科学与技术学院,陕西 西安 710071

摘要：针对命名实体识别任务,该文以可通过参数调节感受野范围的 IDCNN 为基础,提出了 BERT-Duplex CNN-SelfAttention-CRF 模型,在不引入其他辅助特征的条件下,采用 BERT 预训练模型来提供具有丰富语义信息的字嵌入,将字嵌入分别输入 IDCNN 和 CNN 中进行特征提取。 IDCNN 在提取长距离语义信息的前提下可以充分利用 GPU 的并行能力,CNN 在不损失并行能力的前提下可以弥补 IDCNN 对于局部上下文信息的缺失,将提取到的特征融合,通过引入自注意力机制在众多特征中选取对命名实体识别更有效的特征,最后通过 CRF 层提升实体标签预测的准确性。 为验证模型的有效性,该文在常用的 MSRA 数据集以及 Resume 数据集上进行实验,实验结果表明:该模型在 MSRA、Resume 数据集上,结果超越了 Lattice LSTM、BERT-Tagger、LR-CNN、PLET 等几个目前较优模型,相对于结果最好的 PLET 模型,该模型的 F1值分别提高了 1. 28 百分点、0. 15 百分点。

关键词：命名实体识别;BERT;卷积神经网络;膨胀卷积;自注意力机制