语义保持哈希在跨模态检索中的应用

来源：计算机工程与应用杂志2022年第21期北京时间：

作者：康培培, 林泽航, 杨振国, 张子同, 刘文印

单位：1.广东工业大学 计算机学院，广州 510006；2.香港理工大学 计算机学院，香港 9990773.华南农业大学 数学与信息学院，广州 510642

摘要：哈希表示能够节省存储空间，加快检索速度，所以基于哈希表示的跨模态检索已经引起广泛关注。多数有监督的跨模态哈希方法以一种回归或图约束的方式使哈希编码具有语义鉴别性，然而这种方式忽略了哈希函数的语义鉴别性，从而导致新样本不能获得语义保持的哈希编码，限制了检索准确率的提升。为了同时学习具有语义保持的哈希编码和哈希函数，提出一种语义保持哈希方法用于跨模态检索。通过引入两个不同模态的哈希函数，将不同模态空间的样本映射到共同的汉明空间。为使哈希编码和哈希函数均具有较好的语义鉴别性，引入了语义结构图，并结合局部结构保持的思想，将哈希编码和哈希函数的学习融合到同一个框架，使两者同时优化。三个多模态数据集上的大量实验证明了该方法在跨模态检索任务的有效性和优越性。

关键词：跨模态检索,跨模态哈希,语义保持,有监督学习