跨模态检索研究文献综述

来源：计算机科学与探索杂志2021年第8期北京时间：

作者：陈宁, 段友祥, 孙歧峰

单位：中国石油大学（华东） 计算机科学与技术学院，山东 青岛 266580

摘要：随着互联网技术的蓬勃发展和智能设备的普及，多媒体数据在数量爆炸式增长的同时，其形态也越来越多样化。人们获取信息的需求已经不满足于单一模态的数据检索，通过不同模态的知识协同实现跨模态的检索成为近几年研究的热点。在深入了解分析跨模态检索研究背景和研究进展的基础上，以跨模态检索的关键技术——公共子空间建模为主线，对跨模态检索技术的三大类方法传统统计分析方法、深度学习方法与哈希学习方法，从不同角度对研究内容、关键技术、局限性、适用性和特点等方面进行了全方位、多角度的对比分析，并进行了实验以更深入地对比。最后，对跨模态检索有待解决的难点、未来的探索方向、近些年主流设计思路以及发展趋势进行了充分展望，为进一步研究提供理论基础。

关键词：跨模态检索,多媒体数据,知识协同,公共子空间