融合改进图卷积的跨模态检索

来源：计算机工程与应用杂志2024年第11期北京时间：

作者：张宏图, 化春键, 蒋毅, 俞建峰, 陈莹

单位：1.江南大学 机械工程学院，江苏 无锡 214122；2.江苏省食品先进制造装备技术重点实验室，江苏 无锡 214122；3.江南大学 物联网工程学院，江苏 无锡 214122

摘要：针对现有跨模态检索在公共子空间度量时难以充分挖掘模态内局部一致性的问题，提出了一种融合改进图卷积的跨模态检索方法。为了提升各模态内的局部一致性，以单个完整样本为节点构建模态图，充分挖掘特征间的交互信息；为了解决图卷积网络只能做浅层学习的问题，采用在每一层图卷积添加初始残差链接和权重恒等映射的方法来缓解此现象；为了通过高低阶邻居信息共同更新中心节点特征，提出减少邻居节点、增加图卷积网络层数的改进；为了学习高度局部一致且语义一致的公共表征，共享公共表征学习层权重，并联合优化公共子空间中模态内的语义约束和模态间的模态不变约束。实验结果表明，在Wikipedia和Pascal sentence这两个跨模态数据集上，不同检索任务的平均mAP值比11种现有方法分别提升了2.2%~42.1%和3.0%~54.0%。

关键词：图卷积网络,跨模态检索,初始残差连接,恒等映射,邻接矩阵