基于三元采样图卷积网络的半监督遥感图像检索

来源：电子与信息学报杂志2023年第2期北京时间：

作者：冯孝鑫, 王子健, 吴奇

单位：1.上海交通大学电子信息与电气工程学院 上海 2002402.香港大学化学系 香港 999077

摘要：该文提出了一种基于三元采样图卷积网络的度量学习方法，以实现遥感图像的半监督检索。所提方法由三元图卷积网络(TGCN)和基于图的三元组采样(GTS)两部分组成。TGCN由3个具有共享权重的并行卷积神经网络和图卷积网络组成，用以提取图像的初始特征以及学习图像的图嵌入。通过同时学习图像特征以及图嵌入，TGCN能够得到用于半监督图像检索的有效图结构。接着，通过提出的GTS算法对图结构内隐含的图像相似性信息进行评价，以选择合适的困难三元组(Hard Triplet)，并利用困难三元组组成的样本集合对模型进行有效快速的模型训练。通过TGCN和GTS的组合，提出的度量学习方法在两个遥感数据集上进行了测试。实验结果表明，TGCN-GTS具有以下两方面的优越性：TGCN能够根据图像及图结构学习到有效的图嵌入特征及度量空间；GTS有效评估图结构内隐含的图像相似性信息选择合适的困难三元组，显著提升了半监督遥感图像检索效果。

关键词：遥感图像检索, 度量学习, 图神经网络, 半监督学习

基金资助：国家自然科学基金(U1933125)