基于条件随机场与信息熵的特定领域概念发现

来源：计算机应用研究杂志2020年第3期北京时间：

作者：付瑶,万静,邢立栋,

单位：1.北京化工大学信息科学与技术学院,北京100029；2.中国科学院自动化研究所,北京100190；

摘要：针对特定领域内自动化识别既有概念和发现新概念的问题，提出一种基于条件随机场和信息熵的抽取方法。通过使用条件随机场对文本中的概念词进行边界预测，与词典中的概念对比，筛选出新概念的候选项并找出其大概位置，然后由互信息和左右熵分别判断概念窗口内的概念内部结合度和概念边界自由度，从而发现新的专业概念。实验表明，使用该方法进行概念发现比单独使用条件随机场的方法有更好的效果，基于字和词的模型概念发现的准确率分别提升了20.06%和46.54%。

关键词：概念识别,新概念发现,条件随机场,信息熵,特定领域,

基金资助：国家科技支撑计划资助项目(2015BAK03B04)；；