大数据下的分布式精确模糊KNN分类算法

来源：计算机应用研究杂志2019年第12期北京时间：

作者：邹劲松,李芳,

单位：1.重庆水利电力职业技术学院普天大数据产业学院,重庆402160；2.重庆大学计算机学院,重庆400044；

摘要：针对K近邻（KNN）方法处理大数据集的效率问题进行了研究，提出了一种基于Spark框架的分布式精确模糊KNN分类算法， 创新性地将Spark框架分布式map和reduce过程与模糊KNN结合。首先对不同分区中训练样本类别信息进行模糊化处理，得到类别隶属度，将训练集转换为添加类隶属度的模糊训练集；然后使用KNN算法对先前计算的类成员测试集计算得到k个最近邻；最后通过距离权重进行分类。针对百万级大数据集样本的实验，以及与其他算法的对比实验表明，所提算法是可行的和有效的。

关键词：大数据,分布式Spark框架,类隶属度,模糊KNN算法,

基金资助：重庆市教育科学“十三五”规划2017年度重点无经费课题(2017-GX-181)；；