随机初始化神经网络剪枝的稀疏二值规划方法

来源：计算机工程与应用杂志2023年第8期北京时间：

作者：陆林, 季繁繁, 袁晓彤

单位：1.南京信息工程大学 自动化学院，南京 210044；2.江苏省大数据分析技术重点实验室，南京 210044；3.南京信息工程大学 计算机学院，南京 210044

摘要：传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调。受到近年来edge-popup等基于随机初始化网络的剪枝算法优异性能的启发，提出了一种基于稀疏二值规划的随机初始化网络剪枝算法。该算法将剪枝训练过程建模为一个稀疏二值约束优化问题。其核心思想是利用稀疏二值规划来学习一个二值掩膜，利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络。与之前基于随机初始化网络的剪枝算法相比，该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能。与edge-popup算法相比，在ImageNet数据集分类任务中，模型在稀疏度为70%时精度提升7.98个百分点。在CIFAR-10数据集分类任务中，模型在稀疏度为50%时精度提升2.48个百分点。

关键词：神经网络剪枝,随机初始化,二值掩膜,二值规划,稀疏优化