基于教师模型正确预测的图像分类知识蒸馏算法

来源：计算机技术与发展杂志2025年第06期北京时间：

作者：邵春阳;刘宁钟;

单位：1. 南京航空航天大学 计算机科学与技术学院,江苏 南京 211106;2. 南京航空航天大学 模式分析与机器智能工业和信息化部重点实验室,江苏 南京 211106

摘要：知识蒸馏旨在简化大型模型的复杂性。 Logit 蒸馏是一种普遍采用的策略,它利用教师模型的输出 Logit 作为软标签来辅助学生模型的训练。 尽管这种算法在很多情况下都非常有效,但教师模型在预测时的错误同样会对知识转移产生不利影响。 换句话说,教师可能会将错误的知识传递给学生,这可能会导致学生模型在模仿教师时产生偏差,从而影响其最终的判断力。 为了解决这一问题,提出了一种基于教师正确预测的知识蒸馏算法。 该算法能够过滤教师预测错误的实例,使学生模型专注于正确预测的实例,提高教师的教学质量。 此外,该算法不仅能够传递不同实例中蕴含的信息,还能传递类别级别的信息,这为学生模型提供了更全面的语义信息。 实验表明,该算法在 CIFAR-100 和 ImageNet 等多个数据集上均显著提升了学生模型的分类准确率,验证了该算法的有效性。

关键词：深度学习;模型压缩;知识蒸馏;图像分类;卷积神经网络