一种基于主动学习的中文新词识别算法

来源：电讯技术杂志2020年第11期北京时间：

作者：王博,代翔,时聪,刘洋

单位：(1.北京市信息技术研究所，北京 100094;2.中国西南电子技术研究所，成都 610036)

摘要：分词是中文自然语言处理的重要基础，新词的不断涌现是分词的最大难题。针对新词识别定义不清、语料缺乏的实际问题，提出了一种以大规模神经网络预训练模型为基础，并结合主动学习和人工规则的新词识别算法。利用预训练模型高效识别候选新词，使用基于不确定性和代表性样本选择的主动学习策略辅助标注新词，利用热度规则、突发性规则和合成性规则识别和过滤新词发现结果。针对新词识别评价标准不一致的问题，给出了一般性准确率和受限制准确率两条规范测试指标。与现有最优算法进行实验对比，所提算法两项指标分别提高了16%和4%。

关键词：中文自然语言处理；中文新词识别；主动学习；深度神经网络；人工规则；

基金资助：国家自然科学基金资助项目（U19A2078）；四川省科技计划重点研发项目（2020YFG0009）