融合知识图谱和 ESA 方法的网络新词识别

来源：计算机技术与发展杂志2019年第03期北京时间：

作者：刘申凯;周霁婷;朱永华;高洪皓;'

摘要：随着互联网的高速发展,微博、微信等文本形式的使用量逐渐增多,对于这类文本的分析理解在自然语言处理领域形成了新的挑战,尤其是文本中的网络新词识别与语义理解方面。 为了克服传统方法无法识别网络新词及其语义的缺点,提出了一种融合知识图谱和显性语义分析(explicit semantic analysis,ESA)方法的网络新词识别方法。 该方法以短语的粗粒度对原文进行切分来保留词语间的逻辑关系,利用百度知识图谱 Schema 匹配短语的语义表达后,再逐步以 ESA 方法分解剩余文本并将短语的百科信息提炼出核心语义词汇来补充 Schema 无法识别的部分。 实验结果表明,与已有新词识别算法相比,该算法仅需要少量的语料库作为底层知识支撑,大幅降低了人工规则制订的成本,并提高了网络新词识别正确率与词语理解准确率。

关键词：语义识别;语义相关度;新词识别;知识图谱;显性语义分析