深度神经网络模型压缩方法与进展

来源：华东师范大学学报·哲学社会科学版杂志2020年第5期北京时间：

作者：赖叶静, 郝珊锋, 黄定江

摘要：深度神经网络(Deep Neural Network, DNN)模型通过巨大的内存消耗和高计算量来实现强大的性能, 难以部署在有限资源的硬件平台上. 通过模型压缩来降低内存成本和加速计算已成为热点问题, 近年来已有大量的这方面的研究工作. 主要介绍了4种具有代表性的深度神经网络压缩方法，即网络剪枝、量化、知识蒸馏和紧凑神经网络设计; 着重介绍了近年来具有代表性的压缩模型方法及其特点; 最后, 总结了模型压缩的相关评价标准和研究前景.

关键词：深度神经网络压缩,网络剪枝,量化,知识蒸馏,紧凑神经网络,

基金资助：国家自然科学基金(11501204, U1711262)