基于Hadoop平台的并行DHP数据分析方法
来源：计算机应用杂志2016年第12期北京时间：
作者：杨燕霞, 冯林
单位：1. 四川师范大学 计算机科学学院, 成都 610101;2. 四川师大科技园发展有限公司, 成都 610066
摘要：由候选项集C2生成频繁2-项集L2是关联规则Apriori算法的一个瓶颈。直接哈希修剪（DHP）算法利用一个生成的Hash表H2删减C2中无用的候选项集，以此提高L2的生成效率。但传统DHP算法是一个串行算法，不能有效处理较大规模数据。针对这一问题，提出DHP的并行化算法——H_DHP。首先，对DHP算法并行化策略的可行性进行了理论分析与证明；其次，基于Hadoop平台，把Hash表H2的生成以及频繁项集L1、L3~Lk的生成方法进行了并行实现，并借助Hbase数据库生成关联规则。仿真实验结果表明：与传统DHP算法相比，H_DHP算法在数据的处理时间效率、处理数据集的规模大小，以及加速比和可扩展性等方面都有较好的性能。
关键词：Hadoop,Hash表,Apriori算法,直接哈希修剪算法
基金资助：国家科技支撑计划项目（2014BAH11F01，2014BAH11F02）；四川省科技支撑计划项目（15GZ0079）。
