基于多层动态融合的中文医疗命名实体识别

来源：计算机工程与应用杂志2024年第15期北京时间：

作者：林令德, 刘纳, 徐贞顺, 李昂, 李晨

单位：1.北方民族大学 计算机科学与工程学院，银川 750021；2.北方民族大学 图像图形智能处理国家民委重点实验室，银川 750021

摘要：针对基于预训练模型的命名实体识别方法仅使用了预训练模型最后一层隐状态，忽略了各Transformer层对应不同文本信息的问题，提出一种预训练模型多层动态融合方法。采用预训练模型进行特征提取，获得模型各层隐状态序列；通过多层动态融合方法对各层隐状态信息进行结合，作为预训练模型最终输出；采用条件随机场对序列进行解码，完成序列标注。多层动态融合方法可以充分利用预训练模型各层知识，使结果中包含丰富的句法、语义等特征信息，提升模型在任务中的表示能力，增强模型灵活性。通过对医疗文本数据集CMeEE、CCKS2017与通用领域数据集Resume、Weibo进行实验验证，结果证明，加入多层动态融合方法可以有效地提升命名实体识别效果。

关键词：医疗文本挖掘,命名实体识别,预训练语言模型,多层动态融合