面向自然语言处理的词向量模型研究综述

来源：计算机技术与发展杂志2023年第12期北京时间：

作者：安俊秀;蒋思畅

单位：成都信息工程大学 软件工程学院,四川 成都 610225 Author(s): AN Jun-xiu;JIANG Si-chang School of Software Engineering,Chengdu University of Information Technology,Chengdu 610225,China 关键词: 自然语言处理;词向量;深度学习;预训练技术;静态模型;动态模型 Keywords: natural language processing;word vector;deep learning;pre-training technique;static model;dynamic model 分类号: TP391. 1 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 12. 003 摘要: 从 20 世纪 50 年代至今,自然语言处理( Natural Language Processing,NLP) 取得了长足的发展。 早期的词向量模型证明了对该领域的研究需要使用数学方法,而不是人类的语言规则。?进入 21 世纪后,静态模型以深度学习技术为基础,在很多任务中取得了不错的表现;动态模型再将预训练技术融入进来,实现了根据语境对词向量进行调整的功能,为 NLP 领域带来了里程碑式的突破,后续研究在此基础上向各领域延伸扩展,并且在现实生活中得到了大规模的应用。文章首先对词向量模型及其发展历史做了介绍,然后分析了现代的词向量模型( NNLM,Word2Vec,　FastText,Glove,ELMo,GPT,BERT) ,其次说明了多种基于预训练技术的扩展模型和当前自然语言处理技术的应用现状,最后总结了目前存在的主要问题,并提出对未来研究的展望。

摘要：从 20 世纪 50 年代至今,自然语言处理( Natural Language Processing,NLP) 取得了长足的发展。 早期的词向量模型证明了对该领域的研究需要使用数学方法,而不是人类的语言规则。?进入 21 世纪后,静态模型以深度学习技术为基础,在很多任务中取得了不错的表现;动态模型再将预训练技术融入进来,实现了根据语境对词向量进行调整的功能,为 NLP 领域带来了里程碑式的突破,后续研究在此基础上向各领域延伸扩展,并且在现实生活中得到了大规模的应用。文章首先对词向量模型及其发展历史做了介绍,然后分析了现代的词向量模型( NNLM,Word2Vec,　FastText,Glove,ELMo,GPT,BERT) ,其次说明了多种基于预训练技术的扩展模型和当前自然语言处理技术的应用现状,最后总结了目前存在的主要问题,并提出对未来研究的展望。

关键词：自然语言处理;词向量;深度学习;预训练技术;静态模型;动态模型