基于云计算的SPRINT算法研究

来源：计算机技术与发展杂志2017年第03期北京时间：

作者：杨洁;黄刚

摘要：决策树是数据挖掘中非常重要的一种技术,常用来做数据分析和预测.传统的决策树算法在处理海量数据挖掘时,受到CPU和内存的限制,导致算法存在消耗时间过长,容错性差,存储量小的缺点.面对海量数据的处理,云计算在这方面具有非常多的优势.针对决策树中优秀的SPRINT算法,首先对SPRINT算法进行了优化,然后为了让优化后的算法更好地应用于云计算,对算法实现了并行化.传统的SPRINT算法在生成决策树时,会发生多值偏向问题,在生成一个节点时,通过计算两层的Gini指数来降低多值偏向的影响.在算法并行化时,通过将数据分发到各个处理器执行,然后进行汇总处理,从而减少算法执行的总时间.实验结果表明:基于云计算平台的SPRINT改进算法具有更好的分类正确率,同时算法的执行速度也得到了明显的提高.

关键词：云计算;MapReduce;SPRINT算法;Gini指数