一种基于信息瓶颈的神经网络混合压缩方法
来源：计算机应用研究杂志2021年第5期北京时间：
作者：卓越,姜黎,
单位：湘潭大学微电子科学与工程系,湖南湘潭411100；
摘要：如何在计算能力和存储能力有限的移动或嵌入式设备中部署神经网络是神经网络发展过程中必须面对的一个问题。为了压缩模型大小和减轻计算压力，提出了一种基于信息瓶颈理论的神经网络混合压缩方案。以信息瓶颈理论为基础，找到相邻神经网络层之间冗余信息，并以此为基础修剪冗余的神经元，然后对剩余的神经元进行三值量化，从而进一步减少模型存储所需内存。实验结果表明，在MNIST和CIFAR-10数据集上与同类算法对比，所提方法具有更高的压缩率和更低的计算量。
关键词：信息瓶颈,剪枝,三值量化,模型压缩,
