基于Storm的流数据KNN分类算法的研究与实现

来源：计算机工程与应用杂志2017年第19期北京时间：

作者：周志阳，冯百明，杨朋霖，温向慧

单位：西北师范大学 计算机科学与工程学院，兰州 730070

摘要：KNN算法是一种简单、有效且易于实现的分类算法，可用于类域较大的分类。近年来对KNN算法的研究偏向于静态大数据集，不过，在越来越多的情况下要用KNN算法在线实时处理流数据。考虑到流式数据流量大，连续且快速，不易存储和恢复等特性，以及流处理系统Storm对流数据处理具有实时性、可靠性的特点，提出了基于Storm的流数据KNN分类算法，该算法首先对整个样本集进行划分，形成多个片集，然后计算出待分类向量在各片集上的[K]近邻，最后再将所有片集[K]近邻归约得出整体[K]近邻，实现待分类向量的分类。实验结果表明，基于Storm的流数据KNN分类算法能够满足大数据背景下对流数据分类的高吞吐量、可扩展性、实时性和准确性的要求。

关键词：Storm,KNN算法,流数据,大数据,数据划分