面向训练阶段的神经网络性能分析

来源：计算机科学与探索杂志2018年第10期北京时间：

作者：李景军，张宸，曹强

单位：华中科技大学 武汉光电国家研究中心，武汉 430074

摘要：最近，神经网络被广泛应用到许多领域。然而，随着神经网络模型越来越复杂，图形处理单元（graphics processing unit，GPU）被应用到深度学习中。GPU在加速矩阵计算方面展现出了卓越的性能，但是多样和复杂的神经网络模型导致网络训练阶段GPU的计算资源和显存并没有充分利用。对神经网络训练阶段进行细粒度的性能分析。首先从数据流的角度把训练过程分解为6个阶段，并测试每个阶段的延时；然后从GPU加速库、神经网络模型和批次三方面量化分析每一层的GPU计算效率和资源利用率；最后分析每层的参数和特征图的显存占用情况。实验发现：（1）cuDNN库卷积的计算效率是cuBLAS库的2倍。（2）卷积层的资源利用率比全连接层高50%。（3）不同层的显存利用率差异很大，整体利用率不高，最大不超过显存的20%。

关键词：网络模型,图形处理单元（GPU）,资源利用率,计算效率,数据流,GPU加速库