云环境下分层的中间数据容错方法

来源：计算机科学与探索杂志2015年第5期北京时间：

作者：宋宝燕，李雪城，任才，丁琳琳

单位：辽宁大学 信息学院，沈阳 110036

摘要：通常在云计算框架的处理过程中会产生大量的、短暂的，同时又非常重要的中间数据。一旦有服务器失效，将会导致中间数据失效，进而影响整个任务的计算。现有的数据容错处理方法仅仅采用简单的复制策略，没有考虑中间数据的特点，会带来庞大的网络开销。因此，提出了一种有效的分层中间数据容错方法，即IDF_Support（intermediate data fault-tolerance_support）方法。通过将计算任务划分为不同类别，IDF_Support方法能够有效地处理中间数据失效。提出了分层的中间数据容错算法，分别是用于解决一个任务内部容错的中间数据容错算法（Inner_Task IDF）和用于解决任务间容错的中间数据容错算法（Outer_Task IDF）。实验结果表明，这些算法在机器出现故障的情况下提高了作业响应时间，保证了系统的可靠性。

关键词：云计算,中间数据,副本,容错算法