《系统工程与电子技术杂志》发表论文赏析

基于CenterNet的多教师联合知识蒸馏

来源:系统工程与电子技术杂志2024年第4期北京时间:

作者:刘绍华, 杜康, 佘春东, 杨傲

单位:北京邮电大学电子工程学院, 北京 100080

摘要:介绍了一种基于轻量化CenterNet的多教师联合知识蒸馏方案。所提方案能有效解决模型轻量化带来的性能恶化问题,可以显著缩小教师模型和学生模型之间的性能差距。将大规模复杂模型作为教师模型,指导训练轻量化学生模型。相比于模型的传统训练方案,使用所提知识蒸馏训练方案可以在相同的训练轮数后使轻量化模型达到更优的检测性能。主要贡献是提出了适用于CenterNet目标检测网络的新型知识蒸馏训练方案——多教师联合知识蒸馏。在后续实验中,进一步引入了蒸馏注意力机制,从而优化了多教师联合知识蒸馏的训练效果。在VOC2007数据集(Visual Object Classes 2007 Dataset)上,以MobileNetV2轻量化网络作为主干网络为例,相较于传统的CenterNet(主干网络为ResNet50),所提方案在参数量指标上压缩了74.7%,推理速度提升了70.5%,在平均精度上只有1.99的降低,取得了更好的“性能-速度”平衡。实验证明,同样经过100轮训练,使用多教师联合知识蒸馏训练方案的轻量化模型相较于普通训练方案,平均精度提升了11.30。

关键词:轻量化,知识蒸馏,注意力机制,联合训练

基金资助:国家自然科学基金(91938301)

2024年4期其他文献查阅:

空中目标动态HRRP特征可重构模拟方法

综合孔径微波辐射成像技术发展现状与趋势

基于FrFT-Keystone运动补偿的OFDM声纳高速微弱目标相参积累检测算法

基于HRNet的高分辨率遥感影像道路提取方法

基于CenterNet的多教师联合知识蒸馏

地形遮蔽下的电磁波绕射效应对机载电子战影响

双基地宽带成像雷达时间及调频率同步方法

基于锚框自适应和多尺度增强的SAR舰船检测

基于联合GLMB滤波器的可分辨群目标跟踪

基于RMDLPP的雷达空中目标分类

基于波束补偿的成像增强算法研究

天波超视距雷达非均匀采样信号频谱重构

基于MDCFT与水平集的高海情弹载雷达成像检测方法

基于安全性建模的民机ILS信号设计

基于改进灰狼算法的舰载机弹药保障调度优化

基于Multi-Agent的无人机集群体系自主作战系统设计

基于自适应超螺旋观测器的空间机械臂鲁棒故障诊断

深度强化学习及其在军事领域中的应用综述

基于灰色关联协同效应权重配置的费用预测模型

面向韧性的指挥信息系统节点重要性度量方法

基于改进D-S证据理论的相控阵雷达作战效能评估

基于IPSO的舰载机出动离场规划研究

基于连续路网环境的实体化主体路径规划算法

天文/惯性组合系统中重力扰动补偿方法

改进双向快速搜索随机树的无人艇路径规划

带有神经网络干扰观测器的视线角约束制导

地形跟随中航迹跟踪模型预测控制方案设计

基于贝叶斯神经网络的船用惯导定位修正方法

基于动态估计反馈的灰色理论航迹关联算法

可旋转翼式弹道修正组件滚转控制技术研究

基于EM-VB的分布式接收运动目标直接符号检测方法

STAR-RIS辅助多载波通信感知一体化系统的资源优化

RaptorQ喷泉码编译码算法分析及优化

IWSNs防移动干扰节点的两层协作Stackelberg博弈

基于多特征融合的MIMO-OFDM系统单-混信号调制识别算法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!