基于通道相关性的类注意力知识蒸馏

来源：计算机技术与发展杂志2024年第12期北京时间：

作者：吴华涛;朱子奇

摘要：以前的知识蒸馏方法在模型压缩上表现出了令人印象深刻的性能,其中在基于类注意力转移的知识蒸馏(CAT-KD)这项工作中证明了通过转移类激活图可以使学生模型获得和增强识别输入分类区域的能力,这种能力是当前主流 CNN 模型进行分类的关键。 其通过将类激活图平均池化和 l2 归一化的方式来转移类激活图,从而增强学生模型识别输入分类区域的能力,提高蒸馏性能。 然而,这种方式忽略了类激活图中的通道相关的知识,这对于学生模型学习识别输入分类区域的能力至关重要。 为了解决上述问题,该文提出了基于通道相关性的类注意力转移方法。 具体来说,为了从类激活图中提取丰富的知识,该方法不仅考虑了样本内的类激活图中不同通道的特征知识,还考虑了不同样本的类激活图中基于每通道特征的关系知识。 实验表明,该方法在 CIFAR-100 数据集上比基准方法提升了 0. 96 百分点,优于对比方法。

关键词：知识蒸馏;通道相关性;类激活图;通道知识;注意力蒸馏