《计算机工程与科学杂志》发表论文赏析

面向模型并行训练的模型拆分策略自动生成方法

来源:计算机工程与科学杂志2020年第9期北京时间:

作者:王丽, 郭振华, 曹芳, 高开, 赵雅倩, 赵坤

单位:(1.浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室,山东 济南 250000;2.广东浪潮大数据研究有限公司,广东 广州 510000)

摘要:随着训练数据规模的增大以及训练模型的日趋复杂,深度神经网络的训练成本越来越高,对计算平台提出了更高的算力需求,模型训练并行化成为增强其应用时效性的迫切需求。近年来基于分布式训练的AI加速器(如FPGA、TPU、AI芯片等)层出不穷,为深度神经网络并行训练提供了硬件基础。为了充分利用各种硬件资源,研究人员需要在集合了多种不同算力、不同硬件架构AI加速器的计算平台上进行神经网络的模型并行训练,因此,如何高效利用各种AI加速器计算资源,并实现训练任务在多种加速器上的负载均衡,一直是研究人员关心的热点问题。提出了一种面向模型并行训练的模型拆分策略自动生成方法,该方法能够基于静态的网络模型自动生成模型拆分策略,实现网络层在不同AI加速器上的任务分配。基于该方法自动生成的模型分配策略,能够高效利用单个计算平台上的所有计算资源,并保证模型训练任务在各设备之间的负载均衡,与目前使用的人工拆分策略相比,具有更高的时效性,节省拆分策略生成时间100倍以上,且降低了由于人为因素带来的不确定性。

关键词:模型并行,模型训练,模型拆分,负载均衡,

2020年9期其他文献查阅:

一种高效的压缩Page Walk Cache结构

面向模型并行训练的模型拆分策略自动生成方法

一种面向SoC的能量迹预处理方法

移动系统的实时调度与可调度性分析

基于RLWE的双因子三方认证密钥交换协议

国家电网边缘计算应用安全风险评估研究

基于奇异向量鲁棒性的水印方法的质量补偿分析

基于深度学习与超分辨率重建的遥感高时空融合方法

融合TLD框架的DSST实时目标跟踪改进算法

基于颜色与果径特征的苹果树果实检测与分级

基于改进SSD模型的工件表面缺陷识别算法

基于自适应阈值投影的双行车牌分割方法

分数阶Rucklidge系统复杂度分析及有限时间同步

基于相似义原和依存句法的政外领域事件抽取方法

基于深度编码器的复杂网络社区发现算法

基于混合混沌磷虾算法的短期水火电调度研究

基于知识图谱嵌入与多神经网络的序列推荐算法

基于深层语境词表示与自注意力的生物医学事件抽取

基于近端策略优化与对抗学习的对话生成

基于改进粒子群算法的无人机路径规划

基于强化学习的多样性文档排序算法

引入自编码机制对抗网络的文本生成模型

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!