基于 MapReduce 并行关联挖掘的网络入侵检测

来源：计算机技术与发展杂志2021年第06期北京时间：

作者：徐胜超;宋娟;潘欢

单位：1. 广东财经大学华商学院 数据科学学院,广东 广州 511300;2. 宁夏大学 宁夏沙漠信息智能感知重点实验室,宁夏 银川 750021

摘要：随着海量大数据的出现, 关联数据挖掘算法需要新型计算模式来提高计算速度与运行效率。提出了基于 Map-Reduce 并行关联挖掘的网络入侵检测方法 Cloud-Apriori。 Apriori 是一种基于频繁项集的关联规则数据挖掘算法,Cloud-Apriori 是经 MapReduce 云计算并行化后的新算法。 Cloud-Apriori 利用开源的 Hadoop 分布式计算框架, 采用Hadoop 分布式文件系统存储海量数据;结合 MapReduce 的映射,规约操作,可以把关联挖掘的数据流和任务组成一个有向无环图,方便专业技术人员按照映射-规约的方式进行分布式计算的编程。 分析了基于 Map-Reduce 的并行关联挖掘的模块组成与实现过程。 Cloud-Apriori 利用 Kddcup 的案例数据和网络入侵检测这种大数据应用来仿真算法的效果。 实验结果表明:与存在的网络入侵检测算法相比,Cloud-Apriori 在检测精度、运行时间上有很好的优势。

关键词：云计算;网络入侵检测;关联数据挖掘;映射-规约;并行化