Redis分布式缓存技术在Hadoop平台上的应用

来源：计算机技术与发展杂志2017年第06期北京时间：

作者：姚经纬;杨福军

摘要：在使用Hadoop进行大规模数据分析时,经常会遇到的一个较为典型的问题就是共享数据的快速访问问题.该类问题存在的场景很多,如网页排名算法、最小错误率训练算法、最大期望算法等.虽然已有关于此类问题的解决方案,但实际取得的效果却不尽如人意.为此,提出了使用Redis内存数据库作为分布式缓存,以解决Hadoop中共享数据访问的问题.验证实验结果表明,Redis分布式缓存的吞吐率与集群规模有较好的线性关系,所提出的方法能够较好地解决Hadoop任务对共享数据的访问问题,同时也为其他大规模共享数据访问的问题提供了简便的解决思路.Redis作为开源的商业化工具,使得所提出的方法具有较好的适用性,可为科研以及生产实践中遇到的同类问题提供一种较为通用的解决方案.

关键词：Redis;分布式缓存;Hadoop;MapReduce