基于语义调节与两级匹配的图像文本检索方法

来源：计算机技术与发展杂志2024年第12期北京时间：

作者：刘洪洲;张鸿;

摘要：图像文本检索的核心在于实现图像与文本之间的相似度匹配,其方法主要分为全局匹配和局部匹配。 为了克服跨模态检索任务中全局匹配只考虑全局语义的对齐,局部匹配只考虑细粒度语义对齐,以及全局特征和局部特征交互不足的问题,该文提出一种语义调节与两级匹配(Semantic Adjustment and Two-level Matching,SATM)方法,即结合两种匹配方法并利用全局特征调节局部特征语义来进行图像文本检索。 首先,在模态内进行语义调节,采用自注意力机制,利用全局特征增强局部特征;其次,在模态间通过堆叠交叉注意力实现图像和文本的局部特征之间的交互和局部匹配,并生成跨模态全局特征;然后,在模态间进行语义调节,利用跨模态全局特征引导局部特征形成全局特征,并进行全局匹配;最后,结合两种匹配相似度进行跨模态检索。 该方法综合考虑全局匹配和局部匹配,并充分实现了全局特征和局部特征之间的信息交互,因此能显著提升跨模态检索的准确性,通过在Flickr30K 和 MS-COCO 两个基准数据集上的大量的对比实验,证明了该方法的有效性和优越性。

关键词：跨模态检索;图像文本匹配;全局匹配;局部匹配;语义调节