《计算机工程与科学杂志》发表论文赏析

压缩对Hadoop性能影响研究

来源:计算机工程与科学杂志2015年第2期北京时间:

作者:向丽辉,缪力,张大方

单位:(湖南大学信息科学与工程学院,湖南 长沙 410086)

摘要:当今,磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度,并且网络I/O资源稀缺,所以I/O常常成为数据处理的瓶颈。Hadoop能存储PB级数据,因此I/O问题愈加显著。压缩是I/O调优的一个重要方法,它能减少I/O的负载,加快磁盘和网络上的数据传输。首先通过分析Hadoop中各压缩算法的特点,得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩,并用实验得以验证补充。基于该策略,一些Hadoop应用在合理使用压缩后,效率能提高65%。

关键词:Hadoop,MapReduce,I/O,压缩,

基金资助:国家973计划资助项目(2012CB315805);国家自然科学基金资助项目(61173167)

2015年2期其他文献查阅:

一种基于气泡流控的改进多播路由算法

CbRouter:一种利用交叉开关旁路的双向链路片上网络路由器

压缩对Hadoop性能影响研究

抗IP分片逃避技术的设计与实现

面向信息资源聚合的物联网智能信息中心框架

信息物理系统中基于保护阈值的实时调度算法研究

主题网络爬虫研究综述

基于可截取签名和属性加密的云存储访问控制方案

PbRED:基于优先级的RED改进算法

基于Lucene全文检索系统的设计与实现

基于插件技术的BT网络隐藏传输系统

社会网络中的影响力最大化问题

标准模型下基于身份第三方受约束匿名加密方案

基于离散粒子群的节点可重用虚拟网络映射算法

SHA-3轮函数中χ及θ变换的性质研究

移动互联网中一种移动学习方案的设计与原型实现

一种支持简便重构的过程元模型

基于映射机制的业务规则生成系统

多表达式程序设计的新型评估方法

基于情感学习本体的教学反馈策略生成算法的研究

一类离散时间代数Riccati矩阵方程对称解的双迭代算法

基于观察学习的机场噪声监测点关联预测研究

基于最优类中心扰动的萤火虫聚类算法

基于卷积计算的多层脉冲神经网络的监督学习

一种新的基于直觉模糊Petri网的模糊推理算法

一种基于图结构分解的图近似查询方法研究

基于拉普拉斯分值特征选择的运动捕获数据关键帧提取

外弹道可视化仿真研究与实现

低空间复杂度的LSH算法及其在图像检索中的应用

一种图像的连续性边缘提取方法

基于四叉树分解与图割的彩色图像快速分割

基于GA-PSO的粗糙集属性约简算法

微博用户的个性分类分析

某型机载武器信号模拟台的设计与实现

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!