基于BERT-CRF的领域词向量生成研究

来源：计算机工程与应用杂志2022年第21期北京时间：

作者：郭振东, 林民, 李成城, 赵佳鹏

单位：1.内蒙古师范大学 计算机科学技术学院，呼和浩特 010022；2.中国科学院大学 网络空间安全学院，北京 100089；3.中国科学院 信息工程研究所，北京 100089；

摘要：如何在中文BERT字向量基础上进一步得到高质量的领域词向量表示，用于各种以领域分词为基础的文本分析任务是一个亟待解决的问题。提出了一种基于BERT的领域词向量生成方法。建立一个BERT-CRF领域分词器，在预训练BERT字向量基础上结合领域文本进行fine-tuning和领域分词学习；通过领域分词解码结果进一步得到领域词向量表示。实验表明，该方法仅利用少量的领域文本就可以学习出符合领域任务需求的分词器模型，并能获得相比原始BERT更高质量的领域词向量。

关键词：BERT,领域分词器,领域词向量,条件随机场,词向量可视化