一种面向大规模数据密集计算的缓存方法

来源：计算机研究与发展杂志2015年第7期北京时间：

作者：周恩强,张伟,卢宇彤,侯红军,董勇,

摘要：随着高性能计算机逐步应用在大规模数据处理领域，存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上，提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源，使用非易失存储介质构成大缓存空间，存放大规模数据分析的中间过程结果，以此实现高缓存命中率，并利用并发度约束控制等手段避免I/O竞争，充分利用本地存储的特定性能优势保证缓存加速效果，从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性，聚合I/O带宽具有高扩展性，典型数据密集应用的整体性能最大可提升6倍.

关键词：数据密集计算, 缓存, 本地存储, 共享存储, 地震数据处理,