基于隐层相关联算子的知识蒸馏方法

来源：华东师范大学学报·哲学社会科学版杂志2022年第5期北京时间：

作者：吴豪杰, 王妍洁, 蔡文炳, 王飞, 刘洋, 蒲鹏, 林绍辉

摘要：近年来, 卷积神经网络已经在人工智能领域取得了巨大成功, 例如, 区块链、语音识别、图像理解等. 然而, 随着模型准确率的不断提高, 与之伴随的是网络模型计算量与参数量的大幅增长, 从而带来了诸如处理速度小, 内存占用大, 在移动端设备上难以部署等一系列问题. 知识蒸馏作为一种主流的模型压缩方法, 将教师网络的知识迁移到学生网络中, 从而在不增加参数量的情况下优化学生网络的表现. 如何挖掘具有代表性的知识表征进行蒸馏成为了知识蒸馏领域研究的核心问题. 本文提出了一种新的基于模型隐含层相关联算子的知识蒸馏方法, 借助数据增强方法准确捕获了图像特征在网络中间层每个阶段的学习变化过程, 利用相关联算子对该学习过程进行建模, 从而在教师网络中提取出一种新的表征信息用于指导学生网络训练. 实验结果表明, 本文所提出的方法在CIFAR-10、CIFAR-100两种数据集上, 相较于目前最优方法均取得了更好的性能.

关键词：卷积神经网络,模型压缩,知识蒸馏,知识表征,相关联算子,

基金资助：国家自然科学基金(62102151); 上海市杨帆计划项目(21YF1411200)