窥视孔连接的循环网络在中文分词上的研究

来源：计算机工程与应用杂志2019年第19期北京时间：

作者：孙宝山，李玮

单位：天津工业大学 计算机科学与软件学院，天津 300387

摘要：长短期记忆网络（LSTM）可以捕捉潜在的长距离依赖关系，已被广泛应用于中文分词模型。为进一步提高其分词效果，针对记忆单元因结构问题在处理序列时错误遗忘关键信息的情况，引入了窥视孔连接（peepholes）重新构建分词模型。为优化长距离依赖，使用了梯度截断、引导信息流正则化等手段。通过构建多种网络结构的分词模型在当下流行数据集上的分词实验，以此构建的双向循环网络结果表明：窥视孔连接的记忆单元比原记忆单元更有效的获取了待分类字符的上下文特征，有效地改善了LSTM部分信息缺失的情况，增强了网络的记忆能力，提高了模型分词性能。

关键词：长短期记忆网络,序列标注,窥视孔连接,长距离依赖,梯度截断,中文分词