《信号处理杂志》发表论文赏析
作者:谢懿, 王子文, 朱建清
摘要:随着深度神经网络表征能力的不断增强,基于内容的图像检索在检索精度方面取得了显著提升。然而,模型规模的扩张与计算复杂度的攀升,使得传统对称式检索架构在大规模数据与资源受限场景下的部署与应用面临严峻挑战。为在保证检索性能的同时降低计算与通信开销,非对称图像检索通过在查询端与检索库端采用不同复杂度和输入分辨率的模型结构,逐渐成为兼顾性能与效率的重要研究方向。然而,模型容量与输入尺度不匹配,往往会导致不同网络的嵌入空间产生偏移,从而在一定程度上降低匹配精度与稳定性。围绕上述核心问题,本文系统综述了近年来非对称图像检索领域的代表性研究工作,并从是否依赖知识蒸馏的角度,将现有方法划分为基于知识蒸馏与非基于知识蒸馏的两大类。对于基于知识蒸馏的方法,本文从单检索库嵌入空间蒸馏与融合嵌入空间蒸馏两个层面进行了梳理与分析:前者侧重于设计蒸馏策略以提升查询网络与检索库网络之间的嵌入对齐能力,后者则侧重于通过多源嵌入空间融合策略构建高性能的检索库嵌入表示。对于非知识蒸馏方法,则重点总结了网络向后兼容、神经架构搜索与网络剪枝等技术路线在跨网络特征兼容性建模中的设计思想与工程特性。最后,本文展望了多尺度嵌入兼容、结构化剪枝兼容、端云协同量化对齐以及面向动态场景的自适应检索策略等未来研究方向,为相关研究与实际系统设计提供参考。
关键词:深度学习, 知识蒸馏, 非对称图像检索