基于多模态的小样本遥感影像地物分类模型

来源：电子与信息学报杂志2025年第6期北京时间：

作者：周维, 魏名安, 许海霞, 伍志明

单位：1.湘潭大学计算机学院·网络空间安全学院 湘潭 4111052.湖南省电子信息产业研究院 长沙 4100013.湘潭大学自动化与电子信息学院 湘潭 411105

摘要：针对遥感影像覆盖范围大、标注困难、类别融合适配度弱的问题，该文提出一种基于图像-文本多模态融合的小样本语义分割网络模型(FSSNet)，采用编解码结构，编码器提取、语义对齐图像-文本多模态特征，并引入类别信息融合模块、实例信息提取模块。其中利用相关性原理设计基于对比语言-图像预训练(CLIP)模型的类别信息融合模块以增强查询图像与支持图像、文本间类别的适配；利用支持图像的实例目标区域作为先验提示，设计基于改进金字塔特征网络(IFPN)的实例信息提取模块，以提高查询图像目标区域分割的完整性。解码器引入多尺度特征融合的语义聚合模块，聚合类别信息、多尺度实例位置信息和查询图像特征，准确识别地物语义类别。在小样本语义分割数据集PASCAL-5i，公共遥感影像地物分类数据集LoveDA, Postdam和Vaihingen进行实验，该文FSSNet模型在PASCAL-5i数据集上的1-shot, 5-shot的平均交并比(mIoU)精度超越多信息聚合网络(MIANet)，优于最佳水平(SOTA)模型分别为2.29%, 1.96%；在数据集LoveDA, Postdam和Vaihingen上的mIoU精度，优于SOTA模型分别为2.1%, 1.4%, 1.9%。在水利工程实际场景构建数据集HERSD，并进行实验，该文FSSNet模型的mIoU精度高于SOTA模型1.89%。结果表明该文FSSNet模型在遥感影像小样本地物分类、水利实际场景具有更高的分类识别精度。

关键词：遥感影像, 地物分类, 小样本学习, 多模态

基金资助：湖南省教育厅科学研究重点项目(23A0155, 22A0127)