《计算机工程与应用杂志》发表论文赏析
作者:马祖鑫, 崔允贺, 秦永彬, 申国伟, 郭春, 陈意, 钱清
单位:1.贵州大学 计算机科学与技术学院 文本计算与认知智能教育部工程研究中心,贵阳 550025 ;2.贵州大学 公共大数据国家重点实验室,贵阳 550025;3.贵州大学 贵州省软件工程与信息安全特色重点实验室,贵阳 550025;4.贵州财经大学 信息学院,贵阳 550025
摘要:随着边缘计算、边缘智能等概念的兴起,卷积神经网络的轻量化部署逐渐成为研究热点。传统的卷积神经网络压缩技术通常分阶段地、独立地执行剪枝与量化策略,但这种方式没有考虑剪枝与量化过程的相互影响,使其无法达到最优的剪枝与量化结果,影响压缩后的模型性能。针对以上问题,提出一种基于深度强化学习的神经网络联合压缩方法——CoTrim。CoTrim同时执行通道剪枝与权值量化,利用深度强化学习算法搜索出全局最优的剪枝与量化策略,以平衡剪枝与量化对网络性能的影响。在CIFAR-10数据集上对VGG和ResNet进行实验,实验表明,对于常见的单分支卷积和残差卷积结构,CoTrim能够在精度损失仅为2.49个百分点的情况下,将VGG16的模型大小压缩至原来的1.41%。在复杂数据集Imagenet-1K上对紧凑网络MobileNet和密集连接网络DenseNet进行实验,实验表明,对于深度可分离卷积结构以及密集连接结构,CoTrim依旧能保证精度损失在可接受范围内将模型压缩为原始大小的1/5~1/8。
关键词:卷积神经网络,深度强化学习,模型压缩,通道剪枝,权值量化,边缘智能