基于MPI的分布式数据处理系统
来源：计算机工程杂志2019年第7期北京时间：
作者：赵宝琦, 李卫东, 邹佳恒, 林韬, 颜田
单位：1. 中国科学院大学 计算机与控制学院, 北京 100049;2. 中国科学院高能物理研究所, 北京 100049
摘要：为简化江门中微子实验的离线数据处理流程，减少资源消耗，提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换，使用Master/Worker架构对计算作业生命周期进行管理，包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明，该系统具有良好的可扩展性，其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。
关键词：高能物理,江门中微子实验,离线数据处理,分布式计算,信息传递接口
基金资助：中国科学院战略性先导科技专项（A类）（XDA10010900）；大科学装置联合基金（U1532258）。
