深度神经网络压缩与加速综述

来源：信号处理杂志 2022年第1期北京时间：

作者：曾焕强, 胡浩麟, 林向伟, 侯军辉, 蔡灿辉

摘要：近年来，随着图形处理器性能的飞速提升，深度神经网络取得了巨大的发展成就，在许多人工智能任务中屡创佳绩。然而，主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷，难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此，在不显著影响模型精度的前提下，通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类：参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别，本文首先分析了各自的性能及存在的缺陷。另外，本文总结了模型压缩与加速的性能评估方法。最后，讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。

关键词：深度神经网络压缩与加速, 深度学习, 模型剪枝, 知识蒸馏, 参数量化