基于Hadoop的海量嘈杂数据决策树算法的实现

来源：计算机应用杂志2015年第4期北京时间：

作者：刘亚秋, 李海涛, 景维鹏

单位：1. 东北林业大学 信息与计算机工程学院, 哈尔滨 150040;2. 黑龙江省林业生态大数据存储与高性能(云)计算工程技术研究中心, 哈尔滨 150040

摘要：针对当前决策树算法较少考虑训练集的嘈杂程度对模型的影响,以及传统驻留内存算法处理海量数据困难的问题,提出一种基于Hadoop平台的不确定概率C4.5算法——IP-C4.5算法。在训练模型时,IP-C4.5算法认为用于建树的训练集是不可靠的,通过用基于不确定概率的信息增益率作为分裂属性选择标准,减小了训练集的嘈杂性对模型的影响。在Hadoop平台下,通过将IP-C4.5算法以文件分裂的方式进行MapReduce化程序设计,增强了处理海量数据的能力。与C4.5和完全信条树(CCDT)算法的对比实验结果表明,在训练集数据是嘈杂的情况下,IP-C4.5算法的准确率相对更高,尤其当数据嘈杂度大于10%时,表现更加优秀;并且基于Hadoop的并行化的IP-C4.5算法具有处理海量数据的能力。

关键词：Hadoop,C4.5,不确定概率,嘈杂数据,并行化

基金资助：国家自然科学基金资助项目(31370565);哈尔滨市科技创新人才研究专项资金资助项目(2013RFXXJ089)。