Hadoop海量数据迁移系统开发及应用

来源：计算机工程与应用杂志2019年第13期北京时间：

作者：尹 乔1，2，魏占辰1，2，黄秋兰1，孙功星1，石京燕1

单位：1.中国科学院 高能物理研究所，北京 100049；2.中国科学院大学，北京 100049

摘要：当前高能物理实验产生的数据量越来越大，利用大数据处理平台Hadoop进行高能物理数据处理时，面临数据迁移的实际需求，而现有迁移工具不支持HDFS与其他文件系统间的数据传输，性能存在明显缺陷。从高能物理数据同步、归档等需求出发，设计和实现了一个通用的海量数据迁移系统，通过扩展HDFS数据访问方式，使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外，系统设计实现了动态优先级调度模型，进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站（LHAASO）宇宙线等物理实验中的数据迁移，实际运行结果表明系统性能良好，能够满足各个实验的数据迁移需求。

关键词：高能物理,数据迁移,GridFTP协议,动态优先级调度,多属性决策,Hadoop系统