面向数据并行深度学习的准确率感知稀疏梯度融合算法

来源：吉林大学学报·理学版杂志2025年第5期北京时间：

作者：李洪亮, 张蒙, 王子琛, 李想

单位：吉林大学 计算机科学与技术学院, 长春 130012

摘要：针对数据并行的深度学习作业中梯度同步导致的性能瓶颈问题, 提出一种动态的稀疏梯度融合算法. 该算法将梯度压缩、 流水线技术与张量融合技术进行协同建模, 建立稀疏梯度融合行为对准确率影响的理论模型, 并基于此寻找加快梯度同步的同时提高验证准确率的梯度融合方案, 以解决稀疏梯度融合导致验证准确率不稳定的问题. 实验结果表明, 该稀疏梯度融合算法比分层稀疏化方法缩短了1.63倍的通信时间, 比已有的稀疏梯度融合算法缩短了2.68倍的收敛时间.

关键词：并行深度学习,梯度稀疏化,张量融合,通信流水线技术