基于深度神经网络二阶信息的结构化剪枝算法
来源：计算机工程杂志2021年第2期北京时间：
作者：季繁繁, 杨鑫, 袁晓彤
单位：南京信息工程大学 江苏省大数据分析技术重点实验室, 南京 210044
摘要：现有结构化剪枝算法通常运用深度神经网络（DNN）的一阶或者零阶信息对通道进行剪枝，为利用二阶信息加快DNN网络模型收敛速度，借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量，据此向量衡量网络通道的重要性并进行通道剪枝，同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明，该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下，在ResNet110网络上的分类准确率提升了0.74%，剪枝效果优于PF、LCCL等经典剪枝算法。
关键词：深度神经网络,网络压缩,结构化剪枝,二阶信息,幂迭代法
基金资助：国家自然科学基金（61876090，61936005）；国家新一代人工智能重大项目（2018AAA0100400）。
