视频文本跨模态检索研究综述

来源：计算机工程与应用杂志2024年第4期北京时间：

作者：陈磊, 习怡萌, 刘立波

单位：宁夏大学 信息工程学院，银川 750021

摘要：模态代表着数据特定的存在形式，不同模态数据的快速增长，使得多模态学习受到广泛关注。跨模态检索作为多模态学习的一个重要分支，在图文方面已得到显著发展。然而视频相对于图像而言承载了更多模态的数据，也包含更广泛的信息，能够满足用户对信息检索全面性、灵活性的要求，近年来逐渐成为跨模态检索的研究热点。为全面认识和理解视频文本跨模态检索及其前沿工作，对现有代表性方法进行了梳理和综述。首先归纳分析了当前基于深度学习的单向、双向视频文本跨模态检索方法，对每类方法中的经典工作进行了详细分析并阐述了优缺点。接着从实验的角度给出视频文本跨模态检索的基准数据集和评价指标，并在多个常用基准数据集上比较了一些典型方法的性能。最后讨论了视频文本跨模态检索的应用前景、待解决问题及未来研究挑战。

关键词：多模态,跨模态检索,深度学习,特征提取