基于FPGA的卷积神经网络和视觉Transformer通用加速器

来源：电子与信息学报杂志2024年第6期北京时间：

作者：李天阳, 张帆, 王松, 曹伟, 陈立

单位：1.信息工程大学信息技术研究所 郑州 4500022.空军95072部队 南宁 5300003.复旦大学大数据研究院 上海 200433

摘要：针对计算机视觉领域中基于现场可编程逻辑门阵列(FPGA)的传统卷积神经网(CNN)络加速器不适配视觉Transformer网络的问题，该文提出一种面向卷积神经网络和Transformer的通用FPGA加速器。首先，根据卷积和注意力机制的计算特征，提出一种面向FPGA的通用计算映射方法；其次，提出一种非线性与归一化加速单元，为计算机视觉神经网络模型中的多种非线性和归一化操作提供加速支持；然后，在Xilinx XCVU37P FPGA上实现了加速器设计。实验结果表明，所提出的非线性与归一化加速单元在提高吞吐量的同时仅造成很小的精度损失，ResNet-50和ViT-B/16在所提FPGA加速器上的性能分别达到了589.94 GOPS和564.76 GOPS。与GPU实现相比，能效比分别提高了5.19倍和7.17倍；与其他基于FPGA的大规模加速器设计相比，能效比有明显提高，同时计算效率较对比FPGA加速器提高了8.02%～177.53%。

关键词：计算机视觉, 卷积神经网络, Transformer, FPGA, 硬件加速器

基金资助：国家重点研发计划(2022YFB4500900)