跨模态检索研究综述

来源：计算机工程与应用杂志2022年第24期北京时间：

作者：侯腾达, 金冉, 王晏祎, 蒋义凯

单位：1.浙江万里学院 大数据与软件工程学院，浙江 宁波 315100；2.浙江大学 计算机科学与技术学院，杭州 310027

摘要：近年来，各种类型的媒体数据，如音频、文本、图像和视频，在互联网上呈现爆发式增长，不同类型的数据通常用于描述同一事件或主题。跨模态检索提供了一些有效的方法，可以为任何模态的给定查询搜索不同模态的语义相关结果，使用户能够获得有关事件/主题的更多信息，从而达到以一种模态数据检索另外一种模态数据的效果。随着数据检索需求以及各种新技术的发展，单一模态检索难以满足用户需求，研究者提出许多跨模态检索的技术来解决这个问题。梳理近期跨模态检索领域研究者的研究成果，简要分析传统的跨模态检索方法，着重介绍近五年研究者提出跨模态检索方法，并对其性能表现进行对比；总结现阶段跨模态检索研究过程中面临的问题，并对后续发展做出展望。

关键词：跨模态检索,子空间学习,深度学习,跨模态哈希