word2vec-ACV：OOV语境含义的词向量生成模型

来源：计算机应用研究杂志2019年第6期北京时间：

作者：王永贵,郑泽,李玥,

单位：辽宁工程技术大学软件学院,辽宁葫芦岛125105；

摘要：针对word2vec模型生成的词向量缺乏语境的多义性以及无法创建集外词（OOV）词向量的问题，引入相似信息与word2vec模型相结合，提出word2vec-ACV模型。该模型首先基于连续词袋（CBOW）和Hierarchical softmax的word2vec模型训练出词向量矩阵即权重矩阵；然后将共现矩阵进行归一化处理得到平均上下文词向量，再将词向量组成平均上下文词向量矩阵；最后将平均上下文词向量矩阵与权重矩阵相乘得到词向量矩阵。为了能同时解决集外词及多义性问题，将平均上下文词向量分为全局平均上下文词向量（global ACV）和局部平均上下文词向量（local ACV）两种，并对两者取权值组成新的平均上下文词向量矩阵，并将word2vec-ACV模型和word2vec模型分别进行类比任务实验和命名实体识别任务实验。实验结果表明，word2vec-ACV模型同时解决了语境多义性以及创建集外词词向量的问题，降低了时间消耗，提升了词向量表达的准确性和对海量词汇的处理能力。

关键词：word2vec模型,词向量,共现矩阵,平均上下文词向量,

基金资助：国家自然科学基金青年基金资助项目(61404069)；；