基于自注意力机制的中文标点符号预测模型
来源：计算机工程杂志2020年第5期北京时间：
作者：段大高, 梁少虎, 赵振东, 韩忠明
单位：北京工商大学 计算机与信息工程学院, 北京 100048
摘要：中文标点符号预测是自然语言处理的一项重要任务，能够帮助人们消除歧义，更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题，提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络，并结合词性与语法信息进行联合学习，完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离，同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明，该模型F1值达到85.63%，明显高于传统CRF、LSTM预测方法，可实现对中文标点符号的准确预测。
关键词：标点符号预测,自注意力机制,Bi-LSTM网络,深度神经网络,自然语言处理
基金资助：国家自然科学基金（61170112，61532006）；教育部人文社会科学研究青年基金（13YJC860006）；北京市自然科学基金（4172016）。
