基于知识蒸馏的量化卷积神经网络模型压缩研究

来源：计算机测量与控制杂志2026年第2期北京时间：

作者：何龙超,武唯康,李斌,常迎辉

单位：中国电子科技集团公司第五十四研究所

摘要：针对边缘设备部署深度卷积神经网络存在的高资源消耗问题,对知识蒸馏与低比特量化协同优化方法进行了研究；采用了量化感知训练与蒸馏损失联合指导的关键技术,通过教师模型软标签监督和投影梯度下降优化,有效缓解了低比特量化的精度损失；在CIFAR-10和CIFAR-100数据集上的实验分析与验证,该方法实现了ResNet系列网络的4位量化,在CIFAR-10上达到92.1%的准确率,模型大小压缩至0.41MB；经FPGA端侧部署验证,ResNet-20推理时延从82.3ms降至5.67ms,满足了边缘计算对低延迟与高效率的工程需求；证实该方法能在保持精度的同时显著降低资源开销,为资源受限环境下的神经网络部署提供了有效解决方案。

关键词：卷积神经网络;模型压缩;知识蒸馏;量化;FPGA;边缘计算