原型对齐与拓扑一致性约束下的多模态半监督遥感图像语义分割

来源：电子与信息学报杂志2025年第12期北京时间：

作者：韩汶杞, 蒋雯, 耿杰, 鲍衍琛

单位：1.中国石油大学(华东)青岛软件学院、计算机科学与技术学院 青岛 2665802.西北工业大学电子信息学院 西安 710072

摘要：在遥感图像语义分割任务中，模态异构性与标注成本高昂是制约模型性能提升的主要瓶颈。针对多模态遥感数据中标注样本有限的问题，该文提出一种原型对齐与拓扑一致性约束下的多模态半监督遥感图像语义分割方法。该方法以未标注的SAR图像为辅助信息，构建教师-学生框架，引入多模态类别原型对齐机制与拓扑一致性伪监督策略，以提升融合特征的判别性与结构稳定性。首先，构建光学与SAR模态的共享语义原型，并通过对比损失实现跨模态语义一致性学习；其次，设计基于持久同调理论的拓扑损失，从结构层面优化伪标签质量，有效缓解伪监督过程中的拓扑破坏问题。在公开数据集WHU-OPT-SAR数据集以及自建数据集Suzhou数据集两个多模态遥感数据集上的实验结果表明，该方法在标注不足条件下仍具备优异的分割性能与良好的泛化能力。

关键词：半监督学习, 语义分割, 多模态融合, 多模态遥感图像

基金资助：国家自然科学基金( 62571440)