基于表示学习的中文分词
来源：计算机应用杂志2016年第10期北京时间：
作者：刘春丽, 李晓戈, 刘睿, 范贤, 杜丽萍
单位：西安邮电大学 计算机学院, 西安 710121
摘要：为提高中文分词的准确率和未登录词（OOV）识别率，提出了一种基于字表示学习方法的中文分词系统。首先使用Skip-gram模型将文本中的词映射为高维向量空间中的向量；其次用K-means聚类算法将词向量聚类，并将聚类结果作为条件随机场（CRF）模型的特征进行训练；最后基于该语言模型进行分词和未登录词识别。对词向量的维数、聚类数及不同聚类算法对分词的影响进行了分析。基于第四届自然语言处理与中文计算会议（NLPCC2015）提供的微博评测语料进行测试，实验结果表明，在未利用外部知识的条件下，分词的F值和OOV识别率分别达到95.67%和94.78%，证明了将字的聚类特征加入到条件随机场模型中能有效提高中文短文本的分词性能。
关键词：表示学习,词向量,聚类,条件随机场,中文分词
基金资助：国家自然科学基金资助项目（61373116）；陕西省普通高等学校重点学科专项资金资助项目（112-1602）；西安邮电大学研究生创新基金资助项目（ZL2013-30）。
