针对多模态遥感数据的自监督策略模型预训练方法

来源：电子与信息学报杂志2025年第6期北京时间：

作者：刁文辉, 龚铄, 辛林霖, 申志平, 孙超

单位：1.中国科学院空天信息创新研究院 北京 1001902.中国科学院大学 北京 1001903.中国科学院大学电子电气与通信工程学院 北京 1000494.中国科学院空天信息创新研究院中国科学院网络信息体系技术重点实验室 北京 100190

摘要：随着遥感领域以及大模型技术的发展，自监督学习能够通过掩码-重建的方式实现基于未标注遥感数据的模型训练。然而，现有的掩码策略更多基于空间特征建模，而忽略了光谱特征建模，导致光谱数据不能充分挖掘其光谱维度信息问题。为了充分挖掘不同模态遥感数据信息，该文通过探索遥感成像机理和数据特性，构建了支持合成孔径雷达(SAR)、激光探测雷达(LiDAR)数据和高光谱(HSI)数据输入的基于掩码自编码器(MAE)自监督学习的预训练基础模型，通过空间分支随机掩码像素块重建缺失像素以及光谱分支随机掩码频谱通道重建通道，使模型能够有效表征多模态遥感图像数据的空间特征以及光谱特征，进而提升了像素级地物分类的精度。该文为了验证提出模型的有效性，对模型针对两个公开的数据集进行了分类实验，均证明了该模型训练方法的优越效果。

关键词：深度学习, 自监督训练, 多模态遥感图像, 地物分类