深度网络模型压缩综述

来源：软件学报杂志2018年第2期北京时间：

作者：雷杰,高鑫,宋杰,王兴路,宋明黎

单位：雷杰，浙江大学 计算机科学与技术学院, 浙江 杭州 31002711,高鑫，浙江大学 计算机科学与技术学院, 浙江 杭州 31002702,宋杰，浙江大学 计算机科学与技术学院, 浙江 杭州 31002703,王兴路，浙江大学 计算机科学与技术学院, 浙江 杭州 31002704,宋明黎，浙江大学 计算机科学与技术学院, 浙江 杭州 31002705

摘要：深度网络近年来在计算机视觉任务上不断刷新传统模型的性能，已逐渐成为研究热点.深度模型尽管性能强大，然而由于参数数量庞大、存储和计算代价高，依然难以部署在受限的硬件平台上（如移动设备）.模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚至会降低模型的性能.首先，对国内外学者在深度模型压缩上取得的成果进行了分类整理，依此归纳了基于网络剪枝、网络精馏和网络分解的方法；随后，总结了相关方法在多种公开深度模型上的压缩效果；最后，对未来的研究可能的方向和挑战进行了展望.

关键词：深度神经网络;网络压缩;网络剪枝;网络精馏;网络分解

基金资助：国家自然科学基金（61572428，U1509206）