面向多源异构信息的频繁项集挖掘算法

来源：计算机技术与发展杂志2017年第06期北京时间：

作者：刘自力;范军丽;陈文伟;吴润泽

摘要：电网调度运行过程中产生海量复杂度高的多源异构数据,利用数据挖掘将这些数据转化为知识是调度智能化发展的必然趋势.为此,构建了基于调控大数据的多源异构数据分析模型,提出了一种能够处理大数据的频繁项集挖掘算法,将分布式统计引入到频繁项集挖掘过程.该算法根据组合学原理,利用MapReduce扫描一次数据库从原始事务数据库中完成频繁项集的整个挖掘过程;且在支持度阈值改变的情况下无需重新扫描数据库进行挖掘,改进了现有频繁项集挖掘算法多次扫描事务数据库和挖掘效率低的问题.通过利用Hadoop平台对故障信息事务库进行处理,将所提出的算法与其他频繁项集挖掘算法进行了对比验证实验.实验结果表明,所提出的算法不受支持度阈值的影响,处理海量事务数据算法时间开销小,可为实现以准确、安全、经济等目标综合最优的调度智能化分析和决策提供有益的知识.

关键词：智能调度;频繁项集;组合理论;Hadoop