《电子与信息学报杂志》发表论文赏析
作者:罗一畅, 齐析屿, 张博锐, 师汉儒, 赵妍, 王磊, 刘世雄
单位:1.中国科学院空天信息创新研究院 北京 1000942.目标认知与应用技术重点实验室 北京 1000943.中国科学院大学 北京 1001904.中国科学院大学电子电气与通信工程学院 北京 1001905.新加坡国立大学 新加坡 119077
摘要:Meta公司提出的分割一切模型(SAM)作为计算机视觉领域的基础模型,在图像分割、目标检测与跟踪等任务中展现出强大的零样本泛化能力。然而,SAM模型依赖计算密集型的图像编码器(如ViT-H)和复杂的任务解码架构,导致高昂的计算资源消耗和存储需求,严重限制了其在边缘设备、移动终端等资源受限场景中的实际部署。为提升SAM的实用性,近年来研究者提出了多种轻量化方法。该文系统性综述了相关进展:首先,从任务范式、模型架构、数据引擎和应用领域等多方面简要介绍了SAM的基本情况。其次,回顾了高效基础架构替换、知识蒸馏、模型量化和模型剪枝等模型压缩方法。在此基础上,进一步概述了重构模型结构和轻量化网络替代等方法在当前SAM轻量化研究中的具体应用情况。最后,聚焦效率和精度上的平衡问题,对SAM轻量化模型未来的发展方向进行了深入分析和讨论。
关键词:分割一切模型, 轻量化网络, 图像分割, 模型压缩, 知识蒸馏
基金资助:目标认知与应用技术重点实验室 (2023-CXPT-LC-005), 空天院科学与颠覆性技术项目 (AIRCAS2024-AIRCAS-SDTP-03), 中国科学院重点部署项目 (RCJJ-145-24-13, KGFZD-145-25-38)