高效跨域的Transformer小样本语义分割网络

来源：计算机工程与应用杂志2024年第4期北京时间：

作者：方红, 李德生, 蒋广杰

单位：1. 上海第二工业大学 数理与统计学院，上海 201209；2. 上海第二工业大学 资源与环境工程学院，上海 201209

摘要：小样本语义分割旨在仅使用数个标注样本学习目标类别特征并完成分割任务。主流研究存在的主要问题是：训练效率低下，训练和测试在同一数据域。为此构建了一种基于Transformer的高效、跨域的小样本语义分割网络SGFNet。在编码层，使用共享权重的MixVisionTransformer构建孪生网络，用于提取支持集和查询集的图像特征；在关系计算层，通过计算支持集图像特征向量与其对应mask的哈达玛积，提取目标类别的高维特征，并与查询集图像特征进行关系计算；在解码层，改进基于MLP的解码器，提出了残差解码器，将不同层级的特征解码得到最终分割结果。实验表明，该模型只需要在FSS-1000数据集上使用单张3090 GPU训练1.5~4.0 h，即可在FSS-1000数据集上获得最优结果1-shot mIoU 87.0%，在PASCAL-5i和COCO-20i数据集进行跨域测试达到非跨域的效果，1-shot mIoU分别为60.4%和33.0%，证明了该模型高效且跨域。

关键词：小样本语义分割（FSS）,跨域,Transformer,小样本学习（FSL）,语义分割