《计算机工程与科学杂志》发表论文赏析

分布式深度学习通信架构的性能分析

来源:计算机工程与科学杂志2021年第3期北京时间:

作者:张立志, 冉浙江, 赖志权, 刘锋

单位:(国防科技大学计算机学院并行与分布处理国防科技重点实验室,湖南 长沙 410073)

摘要:近年来,深度学习技术的进步推动人工智能进入了一个新的发展时期。但是,海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战,分布式深度学习应运而生,逐渐成为应对这一挑战的有效手段,而高效的参数通信架构是保证分布式深度学习性能的关键。针对传统分布式深度学习模型同步架构在大规模节点上并行训练的问题,首先,分析了集中式的Parameter Server和去中心化的Ring Allreduce这2种主流的参数通信架构的原理和性能。然后,在天河高性能GPU集群上基于TensorFlow构建了2种分布式训练架构的对比测试环境。最后,以Parameter Server架构为基准线,测试了Ring Allreduce架构在GPU集群环境下训练AlexNet和ResNet-50的对比性能。实验结果表明,在使用32个GPU的情况下,Ring Allreduce架构扩展效率可达97%,相比Parameter Server架构,其分布式计算性能可提升30%,验证了Ring Allreduce架构具有更好的可扩展性。

关键词:Ring Allreduce,参数服务器,分布式训练,深度学习,深度神经网络,

基金资助:国家重点研发计划(2018YFB0204301);国家自然科学基金(61702533)

2021年3期其他文献查阅:

基于偏折路由的双环片上网络

基于3D可扩展PE阵列CNN加速器的设计

SAR成像应用特征分析及硬件设计空间讨论

基于长短时记忆网络的电商大数据同一性标定

分布式深度学习通信架构的性能分析

一种基于遗传算法的多站点协同计算卸载算法

物联网感知数据边缘卸载机制研究

能耗均衡的多跳多路径认知分层路由算法

天地一体化网络地面核心网基于5G网络切片的设计与实现

基于Strcmp分解超Lorenz混沌的图像加密算法

基于EEG微状态方法的视觉想象识别研究

基于卷积神经网络的霉变烟叶图像识别方法研究

基于双线程LSTM在线更新的视频追踪算法

基于多特征融合与极限学习机的植物叶片分类方法

无人货架场景下的人体关节点定位算法研究

基于广义变参Fibonacci混沌系统的压缩感知测量矩阵构造算法

基于用户长短期兴趣与知识图卷积网络的推荐

基于隐马尔可夫模型的多真值发现算法

代价敏感的KPCA-Stacking不均衡数据分类算法

基于模糊逻辑NSGA-Ⅲ的开关磁阻发电机多目标优化算法

开源软件社区知识协作网络核心开发者识别

基于蒙古语新闻领域本体的分布式检索方法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!