基于目标语义提示与双注意力感知的遥感图像文本检索方法

来源：电子与信息学报杂志2025年第6期北京时间：

作者：田澍, 张秉熙, 曹林, 邢相薇, 田菁, 沈博, 杜康宁, 张晔

单位：1.北京信息科技大学信息与通信工程学院 北京 1001922.北京市遥感信息研究所 北京 1001923.中国电子科技集团公司第十五研究所 北京 1000834.哈尔滨工业大学信息与通信工程学院 哈尔滨 150006

摘要：高分辨率遥感图像场景复杂、语义信息丰富多样且目标尺度多变，容易引起特征空间中不同类别目标的图像特征分布混淆，导致模型难以高效捕获遥感目标文本语义与图像特征的潜在关联，进而影响遥感图像文本检索的精度。针对这一问题，该文提出基于目标语义提示与双注意力感知的遥感图像文本检索方法。该方法首先引入空间-通道协同注意力，利用空间-通道维度注意权重交互捕捉图像全局上下文特征。同时，为了实现遥感图像显著目标信息的多粒度精准表征，模型通过所构建的基于自适应显著性区域目标感知注意力机制，通过动态多尺度目标特征加权聚合，提升对目标局部区域显著性特征聚焦响应。此外，该文设计了目标类别概率先验引导策略，对文本描述进行目标类别语义词频统计，以获取高概率先验目标语义信息，进而指导在跨模态共性嵌入空间中的图像特征聚类，最终实现高效准确的图像-文本特征对齐。该方法在RSICD与RSITMD两组遥感图像文本检索基准数据集上开展实验评估。结果表明，所设计的方法在检索精度指标上展现出了卓越的性能优势。

关键词：遥感图像, 跨模态, 图像文本检索, CLIP, 空间通道注意力

基金资助：国家自然科学基金(62001032, 62201066, U20A20163)，北京市教委科研计划(KZ202111232049, KM202111232014)