面向流数据的决策树分类算法并行化

来源：计算机研究与发展杂志2017年第9期北京时间：

作者：季一木,张永潘,郎贤波,张殿超,王汝传,

摘要：随着云计算、物联网等技术的兴起，流数据作为一种新型的大数据形态广泛存在于电信、互联网、金融等领域.与传统静态数据相比，大数据环境下的流数据具有快速、连续和随时间变化等特点.同时数据流的隐含分布变化会带来概念漂移问题.为了适应大数据环境下流数据分类算法的要求，必须对传统的静态离线数据分类算法进行改进，提出基于分布式计算平台Storm的P-HT并行化算法.算法在满足Storm流处理平台要求基础上，通过滑动窗口机制、替代子树机制和并行化处理，提高了算法的灵活性和通用性，并且能良好地适应数据流的概念漂移.最后通过实验验证该算法的有效性和高效性，结果表明在与传统C4.5算法相比精度没有降低的情况下，改进的P-HT算法具有更大的吞吐量和更快的处理速度.

关键词：流数据, 分类算法, Storm平台, 滑动窗口, C4.5算法, 并行化算法,