基于改进互信息和邻接熵的微博新词发现方法
来源：计算机应用杂志2016年第10期北京时间：
作者：夭荣朋, 许国艳, 宋健
单位：河海大学 计算机与信息学院, 南京 211100
摘要：针对目前微博新词发现算法中的数据稀疏、可移植性较差以及缺乏对多字词（大于三字）识别的问题，提出了基于改进互信息（MI）和邻接熵（BE）的微博新词发现算法——MBN-Gram。首先，利用N元递增算法（N-Gram）提取新词的候选项，对提取出来的候选新词使用频率和停用字等规则进行过滤；接着再利用改进MI和BE对候选项进行扩展及再过滤；最后，结合相应词典进行筛选，从而得到新词。通过理论及实验分析，MBN-Gram算法在准确率、召回率及F值上均有一定提高。实验结果表明，MBN-Gram算法是有效可行的。
关键词：新词发现,多字词,N-Gram,互信息,邻接熵
基金资助：国家科技支撑计划项目（2013BAB06B04）；江苏省自然科学基金资助项目（BK20130852）；江苏水利科技项目（2013025）；中国华能集团公司总部科技项目（HNKJ13-H17-04）。
