Hadoop平台下自响应故障感知的检测技术研究实现
来源：计算机测量与控制杂志2016年第11期北京时间：
作者：赵序光,张树东,严业平
单位：首都师范大学 信息工程学院
摘要：当今云计算环境下,Hadoop已经成为大数据处理的事实标准。然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业。虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败。针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生。最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19%,并缩短了作业执行时间,同时也减少CPU和内存的使用。
关键词：Hadoop;异构环境;负载;调度器;作业
基金资助：本论文由国家自然科学基金（项目编号：31571563），北京市属高等学校创新团队建设与教师职业发展计划项目资助。高可靠嵌入式系统技术北京市工程研究中心资助。
