基于云计算的数据挖掘系统设计与实现

来源：计算机技术与发展杂志2019年第03期北京时间：

作者：王晓妮;段群;韩建刚

摘要：为了解决数据出现指数式增长所导致的海量数据与传统数据挖掘系统计算能力有限的矛盾日益尖锐这个问题,提出了一种将云计算技术和数据挖掘有机结合的解决方案。 通过采用 Map / Reduce 这种能够处理大量半结构化数据集合的并行编程模型方法,将云计算技术融入海量数据挖掘过程中,设计并实现了基于云计算的数据挖掘系统。 通过对高校师生在图书馆的电子文献资料查阅日志数据集的挖掘分析,对该系统的性能进行了测试,表明该系统能够实现根据用户需求为其提供即时服务。 实验结果表明,该系统的运行效率和挖掘速度均高于单机系统,而且随着数据量的增加,挖掘效率的优势愈发明显。 故该系统能够满足用户需求,可以有效解决传统数据挖掘系统中的技术瓶颈。

关键词：云计算;数据挖掘;海量数据;Map / Reduce