多模态检索研究综述

来源：计算机工程与应用杂志2024年第5期北京时间：

作者：金涛, 金冉, 侯腾达, 袁杰, 顾骁哲

单位：1.浙江万里学院 大数据与软件工程学院，浙江 宁波 315100；2.江苏电力信息技术有限公司，南京 210003

摘要：多模态数据的日益增长使得多模态检索技术也相继受到了不少关注。随着汽车、医学等行业引入计算机与大数据技术，大量的行业数据其本身都是以多模态形式呈现出来的，行业的快速发展使人们对信息的需求不断增加，单一模态数据检索已经无法满足人们对信息的需求。为了解决这些问题，满足一种模态的数据检索其他模态数据的需求，通过文献的查阅对多模态检索的方法进行研究，分析了公共子空间、深度学习、多模态哈希算法等不同的研究方法，梳理了近年来提出的解决这些问题的多模态检索技术。最后，对近几年来提出的多模态检索方法根据检索的准确性、检索的效率以及特点等多方面进行评价对比；对多模态检索所遇到的挑战进行分析，并展望多模态检索未来的应用前景。

关键词：多模态检索,公共子空间,深度学习,哈希算法