基于Hadoop的云计算平台研究与实现

来源：计算机技术与发展杂志2016年第07期北京时间：

作者：范素娟;田军锋

摘要：随着网络技术的发展，网络数据量正以指数级增长且规模日渐庞大。面对正在增长的海量数据，传统的数据处理方法存在效率低下等诸多缺点。人们需要一种新的技术思想来解决这些问题。因此，云计算的思想被提出。云计算是一种新兴的计算模型，是分布式计算技术的一种。而Hadoop作为一个开源的分布式平台是当前最为流行的云计算平台实现之一，被用于高效地处理海量数据。为了提高对海量数据处理的效率，文中首先简要分析了云计算的概念和Hadoop主要组件的工作流程，然后详细介绍了基于Hadoop的云计算平台配置方法和实现过程，并对云平台的搭建过程中遇到的典型问题进行了总结阐述。最后通过实验证明，该平台可以有效地完成分布式数据处理任务。

关键词：Hadoop;HDFS;MapReduce;云计算