Spark中一种高效RDD自主缓存替换策略研究

来源：计算机应用研究杂志2020年第10期北京时间：

作者：魏赟,丁宇琛,

单位：上海理工大学光电信息与计算机工程学院,上海200093；

摘要：由于并行计算框架Spark缓存替换算法的粗糙性，LRU（least recently used）算法并未考虑RDD的重复使用导致易把高重用数据块替换出内存且作业执行效率较低等问题。通过优化权重模型和改进替换策略，提出了一种高效RDD自主缓存替换策略（efficient RDD automatic cache，ERAC），包括高重用自主缓存算法和缓存替换分级算法，可实现高效RDD的自主缓存和缓存目标的分级替换。最后利用SNAP（Stanford Network Analysis Project）提供的标准数据集将ERAC和LRU、RA（register allocation）等算法进行了对比实验，结果显示ERAC算法能够有效提高Spark的内存利用率和任务执行效率。

关键词：Spark,弹性分布式数据集,缓存替换,内存资源利用,

基金资助：国家自然科学基金资助项目(61170277,61472256)；上海市科委科研计划资助项目(16111107502)；；