基于时差提示SAM的遥感变化检测

来源：信号处理杂志 2024年第3期北京时间：

作者：方乐缘, 旷洋, 刘强, 岳俊

摘要：遥感变化检测作为观测和分析地表变化的重要手段，以双时相图像为输入，旨在预测变化发生的“位置”。近期出现的基础模型，例如SAM模型（Segment Anything Model），展现出强大的通用性和泛化能力，有望为变化检测任务提供更为有效的解决方案。然而，由于遥感图像的特殊成像特性，它们在许多遥感应用中的直接使用往往效果不佳。此外，SAM模型最初被设计用于分割单时相图像，其通过人工添加点或框的提示来实现，但这种过于直观的方法在处理双时相图像输入时并不适用。为了应对上述挑战，本文提出了一种基于时差提示SAM的遥感变化检测方法（TDPS），充分发挥 SAM 模型强大的视觉识别能力，以改进对遥感图像的变化检测。具体而言，本文首先在 SAM 骨干网络中引入了低阶可微调参数，以减轻自然图像到遥感图像上的域偏移。其次，本文设计了时相差异提示生成器，通过将双时相图像的特征与查询嵌入一起优化，得到适用于变化检测任务的提示向量。最后，大量实验证明了本文方法的有效性，在两个常用的变化检测数据集LEVIR-CD和WHU-CD上取得了最先进的性能，F1 指标相比于最先进方法分别提升了1.4%和2.5%。

关键词：‍‍遥感变化检测, SAM, 提示学习