基于神经网络语言模型的分布式词向量研究进展

来源：华东师范大学学报·哲学社会科学版杂志2017年第5期北京时间：

作者：郁可人, 傅云斌, 董启文

单位：郁可人,男,硕士研究生,研究方向为自然语言处理.E-mail:yu_void@qq.com

摘要：单词向量化是自然语言处理领域中的重要研究课题之一，其核心是对文本中的单词建模，用一个较低维的向量来表征每个单词.生成词向量的方式有很多，目前性能最佳的是基于神经网络语言模型生成的分布式词向量，Google公司在2012年推出的Word2vec开源工具就是其中之一.分布式词向量已被应用于聚类、命名实体识别、词性分析等自然语言处理任务中，它的性能依赖于神经网络语言模型本身的性能，并与语言模型处理的具体任务有关.本文从三个方面介绍基于神经网络的分布式词向量，包括：经典神经网络语言模型的构建方法；对语言模型中存在的多分类问题的优化方法；如何利用辅助结构训练词向量.

关键词：词向量,语言模型,神经网络,

基金资助：国家重点研发计划（2016YFB1000905）；国家自然科学基金广东省联合重点项目（U1401256）；国家自然科学基金（61672234，61402177）；华东师范大学信息化软课题