面向高性能计算的分布式故障定位框架

来源：计算机应用杂志2018年第1期北京时间：

作者：高剑, 于康, 卿鹏, 尉红梅

单位：江南计算技术研究所, 江苏 无锡 214083

摘要：针对高性能计算系统中故障定位难度高且实时性差的问题，提出了一种基于消息传递的故障定位框架（MPFL），包括基于树形拓扑的故障检测（TFD）和故障分析（TFA）算法。首先，在并行作业初始化时，将所有参与计算的节点进行逻辑上的树形划分，生成故障定位树（FLT），并将故障定位任务分布到节点上；然后，当消息库、操作系统等组件检测到节点异常状态时，基于TFD算法分析作业的FLT结构，根据负载平衡、性能开销等因素选择接收异常状态的节点；最后，节点利用TFA算法对接收到的异常状态进行推理得出故障，TFA算法使用基于规则的事件关联，并基于消息传递设计轻量级的主动探测，将两种方式相结合，提高了故障分析的准确性。实验以模拟节点停机故障为定位目标，并以NPB-FT与NPB-IS为基准测试，在集群上对MPFL框架进行了评估。实验结果表明，MPFL框架在故障定位能力与开销节省方面表现突出。

关键词：高性能计算,消息传递,故障定位,事件关联,主动探测

基金资助：国家重点研发计划项目（2016YFB0200502）。