结合半波高斯量化与交替更新的神经网络压缩方法
来源：计算机工程杂志2021年第5期北京时间：
作者：张红梅, 严海兵, 张向利
单位：桂林电子科技大学 广西高校云计算与复杂系统重点实验室, 广西 桂林 541004
摘要：为使神经网络模型能在实时性要求较高且内存容量受限的边缘设备上部署使用，提出一种基于半波高斯量化与交替更新的混合压缩方法。对神经网络模型输入部分进行2 bit均匀半波高斯量化，将量化值输入带有缩放因子的二值网络通过训练得到初始二值模型，利用交替更新方法对已训练的二值模型进行逐层微调以提高模型测试精度。在CIFAR-10和ImageNet数据集上的实验结果表明，该方法能有效降低参数和结构冗余所导致的内存和时间开销，在神经网络模型压缩比接近30的前提下，测试精度相比HWGQ-Net方法提高0.8和2.0个百分点且实现了10倍的训练加速。
关键词：卷积神经网络,量化,模型压缩,半波高斯量化,交替更新
基金资助：国家自然科学基金（61461010）；认知无线电与信息处理省部共建教育部重点实验室基金（CRKL170103，CRKL170104）；广西密码学与信息安全重点实验室基金（GCIS201626）。
