《吉林大学学报·理学版杂志》发表论文赏析
作者:吴建, 王兴旺, 孙亚峰, 于美铭
单位:1. 吉林大学 计算机科学与技术学院, 长春 130012; 2. 吉林大学 公共计算机教学与研究中心, 长春 130012
摘要:针对现有高精度目标检测模型体量巨大、 计算成本高, 很难在资源受限环境中广泛部署的问题, 提出一种融合知识蒸馏、 模型量化和网络剪枝的协同轻量化方法, 以构建适用于课堂场景的高效行为检测模型. 该方法先通过分步蒸馏实现大模型向中小模型的有效知识迁移, 再结合结构化剪枝获得与小规模模型相当的轻量化网络, 并进一步采用量化特征蒸馏在量化感知训练中提升模型的特征表达能力. 实验结果表明, 改进后的轻量化模型在保持较小参数规模和计算量的同时, 其检测精度显著优于原始小模型, 在多个课堂行为数据集上其性能均得到稳定提升.
关键词:知识蒸馏,轻量化模型,课堂行为检测,模型剪枝,学生模型