神经网络训练处理器的浮点运算优化架构

来源：计算机测量与控制杂志2023年第6期北京时间：

作者：张立博,李昌伟,齐伟,王刚,戚鲁凤

单位：中国绿发投资集团有限公司

摘要：针对神经网络训练加速器中存在权重梯度计算效率低的问题,设计了一种高性能卷积神经网络(CNN)训练处理器的浮点运算优化架构。在分析CNN训练架构基本原理的基础上, 提出了包括32bit、24bit、16bit和混合精度的训练优化架构,从而找到适用于低能耗且更小尺寸边缘设备的最佳浮点格式。通过现场可编程门阵列(FPGA)验证了加速器引擎可用于MNIST手写数字数据集的推理和训练,利用24bit自定义浮点格式与16bit脑浮点格式相结合构成混合卷积24bit浮点格式的准确率可达到93%以上。运用台积电55nm芯片实现优化混合精度加速器,训练每幅图像的能耗为8.51μJ。

关键词：卷积神经网络;浮点运算;加速器;权重梯度;处理器

基金资助：中国绿发投资集团有限公司科技项目(项目编号：CGDG529000220008；项目名称：多产业融合下的数据治理体系研究)