多任务下的特征分布蒸馏算法研究

来源：计算机工程与应用杂志2023年第21期北京时间：

作者：葛海波, 周婷, 黄朝锋, 李强

单位：西安邮电大学 电子工程学院，西安 710000

摘要：卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价，这不仅会使模型在训练过程中出现过拟合等问题，也不利于模型在资源受限的嵌入式设备上运行，因而提出模型压缩技术来解决上述问题，主要对模型压缩技术中的特征蒸馏算法进行了研究。针对特征蒸馏中利用教师网络特征图指导学生网络并不能很好地锻炼学生网络特征拟合能力的问题，提出基于特征分布蒸馏算法。该算法利用条件互信息的概念构建模型特征空间的概率分布，并引入最大平均差异（maximum mean discrepancy，MMD）设计损失函数以最小化教师网络和学生网络特征分布间的距离。在知识蒸馏的基础上利用toeplitz矩阵对学生网络进行权重共享操作，进一步节省了模型的存储空间。为验证在特征分布蒸馏算法训练下学生网络的特征拟合能力，在图像分类、目标检测和语义分割三种图像处理任务上进行了实验验证，实验表明所提算法在以上三种学习任务中的表现均优于对比算法且实现了不同网络架构间的蒸馏。

关键词：特征分布蒸馏,条件互信息,特征分布,最大平均差异（MMD）,toeplitz矩阵