双知识蒸馏结合多尺度特征学习的图像分类Transformer模型
来源：计算机工程与应用杂志2026年第11期北京时间：
作者：崔学英, 樊如龙, 靳黎忠, 上官宏, 张雄
单位：1.太原科技大学 应用科学学院，太原 030024；2.太原科技大学 计算机科学与技术学院，太原 030024；3.太原科技大学 电子信息工程学院，太原 030024；
摘要：异构知识蒸馏技术能够有效提高Transformer模型的分类性能，然而缺乏对图像的多尺度信息的考虑，使得Transformer模型特征提取能力有限，数据的利用效率低。为此，提出一种双知识蒸馏与多尺度特征学习结合的Transformer模型。为实现更好的蒸馏效果，设计了一种双知识蒸馏策略，教师模型通过双蒸馏token把知识传递给两个不同尺度的学生Transformer模型，使学生模型获得更全面的教师信息。构建了一种有效的交互注意力模块，以交换不同尺度学生模型之间信息，增强学生模型的多尺度感知能力，使得Transformer模型即使在小规模数据上也能达到较好的分类效果。与卷积神经网络模型和Transformer模型相比，提出的方法在CIFAR-100数据集上均取得了最优的分类结果。在CIFAR-10和Imagenet-1k上也表现出较好的泛化能力。
关键词：图像分类,知识蒸馏,多尺度特征,Transformer
基金资助：国家青年科学基金（62001321）；山西省基础研究计划项目（202303021221144，202403021221140）。
