基于多层次知识蒸馏的连续图像语义分割方法
来源：计算机集成制造系统杂志2023年第4期北京时间：
作者：凌志, 李幸, 张婷, 陈良, 孙立宁
单位：1.苏州大学江苏省先进机器人技术重点实验室2.苏州大学机电工程学院3.魔门塔(苏州)科技有限公司
摘要：为让学生模型学习到更全面的表征知识,提出一种多层次知识蒸馏方法,将教师模型的知识分为高、中、低多层次进行蒸馏。这3种层次的知识分别被指代为模型预测值、多尺度融合特征图以及特征层中的特征值,并以多层次知识为基础设计蒸馏项。首先基于低层次知识的特征蒸馏保证学生模型与教师模型的特征分布尽可能接近;再以中层次知识为基础,将图像的空间结构知识传递给学生模型;最后利用高层次的知识编码相邻帧间的依赖关系,并将该隐含知识传递给学生模型。此外定义的语义一致性损失也可有效改善像素点在前后帧标签预测不一致的情况。实验证明,该蒸馏方法能显著提升学生模型的精度,并在模型精度和轻量化方面取得了更好的平衡,具备良好的应用前景。
关键词：语义分割,知识蒸馏,连续图像,轻量模型,相似性计算
基金资助：工信部工业互联网创新发展工程资助项目(TC190H3WR)。
