《计算机工程与应用杂志》发表论文赏析
作者:孙艳茹, 林民, 史明伟
单位:1.内蒙古师范大学 计算机科学技术学院,呼和浩特 010022;2.内蒙古电子信息职业技术学院,呼和浩特 010070;
摘要:古籍命名实体识别(named entity recognition,NER)旨在通过有限的标注样本识别未见的古籍实体。由于古籍文本的标注数据稀缺、实体边界模糊以及复杂的上下文语境,传统基于预训练语言模型(pre-trained language model,PLM)微调的方法在适应古籍文本时,主要存在嵌套实体检测困难和两阶段错误传播的问题。尽管提示学习在小样本任务中具有优势,但现有方法未充分优化来适应古籍的语言特性,导致信息挖掘不足,且需要精心设计模板和多轮推断,计算成本较高且稳定性差。针对以上问题,提出一种结合多类型软提示和高效全局指针网络(efficient global pointer,EGP)的古籍NER方法。使用多个实体类型标签词初始化多类型软提示,通过嵌入矩阵映射生成多个可学习的实体类别软提示向量,增强语义感知能力。采用注意力机制优化软提示与输入文本的交互,提升模型对古籍文本语义的理解。通过并行输入多个软提示至EGP,模型能够同时预测所有实体并精确捕捉实体边界,解决了传统两阶段模型中的错误传播与实体重叠问题。与BERT-BiLSTM-CRF方法相比,所提方法在《三十世家》古籍、礼仪领域古籍和CHisIEC三个数据集上的F1值分别提升了11.56%、9.52%和13.66%,且推理效率是BERT-BiLSTM-CRF方法的37.65倍,验证了该方法在古籍NER任务中的有效性。
关键词:古籍命名实体识别,软提示学习,高效全局指针网络
基金资助:国家自然科学基金(62266033);无穷维哈密顿系统及其算法应用教育部重点实验室开放课题(2023KFZD03);内蒙古师范大学研究生科研创新基金(CXJJB23011)。