可增量的用户短文本聚类方法研究

来源：计算机技术与发展杂志2017年第11期北京时间：

作者：张仪;陈国;张再跃

摘要：随着大数据时代的到来,用户短文本数据呈爆炸性增长,充分利用聚类分析技术获取短文本中的有用信息显得十分重要.聚类分析作为一种重要的知识发现手段,是将对象按其特征的相似程度进行归类的过程.为此,提出了一种可增量面向用户短文本聚类方法.该方法包括离线聚类和在线聚类两大类,前者在短文本预处理的基础上,利用无关语词典对短文本中的无关语进行识别和清理,再利用词类词典对短文本进行语义归一化;同时还提出了基于多特征融合的相似度计算方法,以实现对文本的相关性聚类.后者则以离线聚类结果为特征,对在线文本进行在线聚类操作,将离线聚类结果和在线聚类结果进行合并,以生成最终的聚类结果.为验证该方法的有效性与可行性,与基于特征向量的相似度方法进行了对比实验.实验结果表明,该方法的聚类召回率可达73%,聚类精度达到87.7%,F值为79.6%,均优于基于特征向量的方法.

关键词：短文本;语义归一化;离线聚类;在线聚类