基于知识回顾与特征解耦的目标检测蒸馏

来源：计算机应用研究杂志2023年第5期北京时间：

作者：张瑶,潘志松,

单位：陆军工程大学指挥控制工程学院,南京210000；

摘要：当前的知识蒸馏算法均只在对应层间进行蒸馏，为了解决这一问题，提高知识蒸馏的性能，首先分析了教师模型的低层特征对学生模型高层特征的指导作用，并在此基础上提出了基于知识回顾解耦的目标检测蒸馏方法。该方法首先将学生模型的高层特征与低层特征对齐、融合并区分空间和通道提取注意力，使得学生的高层特征能够渐进式地学到教师的低层和高层知识；随后将前背景解耦，分别蒸馏；最后通过金字塔池化在不同尺度上计算其与教师模型特征的相似度。在不同的目标检测模型上进行了实验，实验表明，提出的方法简单且有效，能够适用于各种不同的目标检测模型。骨干网络为ResNet-50的RetinaNet和FCOS分别在COCO2017数据集上获得了39.8%和42.8%的mAP，比基准提高了2.4%和2.3%。

关键词：知识蒸馏,目标检测,知识回顾,特征解耦,

基金资助：国家自然科学基金资助项目(62076251)；；