基于滤波器分布拟合的神经网络剪枝算法

来源：计算机技术与发展杂志2022年第12期北京时间：

作者：张佳钰;寇金桥;刘宁钟

单位：1. 南京航空航天大学 计算机科学与技术学院,江苏 南京 211106;2. 北京计算机技术及应用研究所 方舟重点实验室,北京 100854

摘要：随着人工智能技术的迅猛发展,深度神经网络在不断地加深与变宽,模型的计算量快速增加,神经网络模型的高存储和高功耗的需求也随之产生。 网络剪枝是实现模型压缩和加速的一种有效方法。 常见的剪枝方法遵循“ 较小规范-不重要＂ 的标准来对滤波器进行修剪,认为范值较小的滤波器重要性较低,可以安全地修剪掉。 针对删去重要性较小的滤波器容易导致滤波器范数分布不均衡的问题,文中提出了一种拟合原始滤波器范数分布的剪枝算法。 该算法不仅可以筛选出拟合了原始范数分布的滤波器,还能删去冗余的滤波器。 实验表明该算法在两个数据集上的模型压缩效果均优于对比实验。 其中,在 CIFAR-10 数据集上压缩基于 ResNet110 的图像分类模型的效果明显,最终在减少了 62% 以上的 FLOPs的情况下,相对准确率仅降低了 0. 14% 。

关键词：深度学习;模型压缩;网络剪枝;分布拟合;滤波器剪枝