基于Hadoop的关联规则挖掘算法研究--以Apriori算法为例

来源：计算机技术与发展杂志2016年第07期北京时间：

作者：刘木林;朱庆华

摘要：为了解决传统关联规则挖掘算法在挖掘效率、算法扩展性等方面无法适应大数据挖掘需求的问题，以经典的关联规则挖掘算法—Apriori算法为例，首先基于Hadoop平台和MapReduce编程模型，实现算法的并行化。在此基础上，基于事务缩减的思想对算法进行优化，进一步提高算法的挖掘效率。搭建Hadoop集群环境，对算法的挖掘结果和挖掘效率进行实验。通过并行挖掘结果验证、串行版与并行版效率对比、挖掘时间与节点数目的变化关系、挖掘时间与数据量的变化关系4组实验，结果表明：文中实现的Apriori算法不仅能够准确挖掘频繁项集，而且比传统串行算法具有更高的挖掘性能和可扩展性。该算法能够更好地适应大数据集的挖掘要求，能够实现从大规模数据集中高效挖掘频繁项集和关联规则。

关键词：数据挖掘;关联规则;Hadoop;Apriori