多维层次语义蒸馏引导下的深度学习模型压缩方法

来源：计算机工程与应用杂志2026年第11期北京时间：

作者：陈碧霞, 林清华, 李佐勇, 唐郑熠, 曾坤, 洪茂雄

单位：1.福建理工大学 计算机科学与数学学院，福州 350118；2.闽江学院 计算机与大数据学院，福州 350121；3.福建省信息处理与智能控制重点实验室，福州 350121；

摘要：随着深度学习模型的参数量和计算复杂度不断增加，知识蒸馏作为一种高效的模型压缩技术得到了广泛应用。然而，现有的知识蒸馏方法中教师模型与学生模型在特征空间和学习能力上的不匹配问题限制了知识的准确传递。针对此问题，提出了一种多维层次语义蒸馏方法（MDHSD）。该方法从教师模型的深层特征空间中提取高阶语义表征，以增强学生模型对丰富知识的捕获能力。通过构建类间级、类内级和类预测级的多层次语义监督机制，进一步优化知识传递过程。引入中间教师助理模型，旨在缓解教师模型与学生模型在容量和表达能力上的差异。在CIFAR-100和Tiny-ImageNet数据集上的实验结果表明，与FT知识蒸馏方法相比，MDHSD方法在RepVGG模型压缩70.45%参数量的情况下，分类精度提升了5.75个百分点。

关键词：深度学习,知识蒸馏（KD）,模型压缩,高阶语义表征,教师助理

基金资助：国家重点研发计划项目（2022YFC3302200）；国家自然科学基金面上项目（62471207）；福建省自然科学基金重点项目（2024J02029）；福建省技术创新重点攻关及产业化项目（校企联合类）（2024XQ002）。