一种基于SOM 划分的FP-growth 算法

来源：计算机技术与发展杂志2018年第04期北京时间：

作者：郏奎奎;刘海滨

摘要：FP-growth 算法只能处理较小数据集,在面对海量数据集时显得无能为力。 对此,对 FP-growth 算法的挖掘过程进行改进,提出一种基于 SOM(self-organizing map)划分的 FP-growth 算法。 在数据预处理阶段,将原始数据中的每条事务标准化为相同维度的数据；考虑到大数据集较难处理的问题,首先利用系统抽样方法从大数据集中抽取出具有代表性的样本；由于包含频繁项的事务具有较小的欧氏距离,再对样本进行 SOM 聚类分析；根据聚类结果,将大数据集分成若干个子集,在各个子集上并行进行 FP-growth 算法挖掘。 实验结果表明,改进算法降低了内存占用量,缩短了数据挖掘时间,提高了对海量数据的处理能力和效率,并且具有较好的加速比。

关键词：FP-growth;自组织映射;数据挖掘;聚类;数据划分