卷积神经网络并行训练的优化研究

来源：计算机技术与发展杂志2018年第08期北京时间：

作者：李相桥;李晨;田丽华;张玉龙

摘要：由于卷积神经网络模型结构复杂且计算量大,实际应用中一般采用多 GPU 的方式对其进行并行训练,快速地完成卷积神经网络的快速训练。 为了提高卷积神经网络的并行训练效率,同时解决在并行训练时通讯缓慢以及数据加载时等待的问题,提出参数通讯以及数据加载两个方面的优化策略。 在参数通讯优化方面,将梯度计算和参数通讯同时执行,利用计算时间来覆盖通讯时间。 通过改变通讯方式,利用归约和冗余通讯方式减少参数通讯时的同步等待时间。 利用预加载和异步拷贝的方式将数据提前加载并拷贝到 GPU 显存空间,减少数据加载带来的时间消耗。 实验结果表明,优化后的方法能够有效地提高卷积神经网络的并行训练效率。

关键词：卷积神经网络;数据并行;通讯优化;数据加载优化