基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类

来源：计算机工程与科学杂志2015年第10期北京时间：

作者：戴上平1，冯鹏1，刘盛英杰1，舒红2

单位：1.华中师范大学计算机学院，湖北 武汉 430079;2.测绘遥感信息工程国家重点实验室，湖北 武汉 430079

摘要：文本分类是文本挖掘中最重要的研究内容之一。为了克服目前以距离衡量的近似分类算法在海量数据下耗费大量时间的缺陷，提出了结合基于余弦距离的局部敏感哈希的方式将KNN算法在TFIDF下对中文文本进行快速分类。同时结合文本数据的特性给出了不同的哈希函数级联方式分别进行实验。在实验过程采用了布尔向量的方式规避重复访问，使分类的结果在可以允许的范围内，分类速度比原始KNN提高了许多。

关键词：文本分类,局部敏感哈希,TF-IDF,KNN,布尔向量,

基金资助：武汉市政府资助项目（基于网格的社区宜居环境分析研究）