结合统计和词间关系的文本关键词计算方法
来源：计算机技术与发展杂志2015年第12期北京时间：
作者：石雁;李朝锋
摘要：在中文文本相似去重中的关键词计算和提取阶段,文本分词后,存在高维、稀疏和缺乏语义词项,而这些大多没有实际意义的词会给计算带来噪音,不利于文本去重. 为此,需要提取文本特征,使该特征能够表示文本的主要内容. 针对此问题,提出了一种结合词频、词项间互信息关联度及其语义相似度的改进的关键词提取方法. 该方法综合考虑候选词的统计特征、词项间的相关度和相似度,并将此方法应用于SimHash文本相似计算模型中. 实验结果表明,基于该模型的特征提取在相似文本去重计算上有着较高的准确率、召回率和F1 值,优于传统方法.
关键词：文本特征;相似计算; 互信息;SimHash ;特征提取;文本去重
