基于掩码增强自训练的域适应语义分割

来源：计算机应用杂志2025年第7期北京时间：

作者：冯博, 于海征, 边红

单位：1.新疆大学 数学与系统科学学院，乌鲁木齐 830017；2.新疆师范大学 数学科学学院，乌鲁木齐 830017

摘要：近年来，基于卷积神经网络（CNN）的语义分割模型在多种应用中表现出了卓越的性能。然而，这些模型在应用于新领域时通常不能很好地泛化，特别是从合成数据应用到真实数据的情况。无监督域适应（UDA）问题旨在尝试在一个带有标记数据的已知领域（源域）上进行模型训练，同时在无标记数据的未知领域（目标域）中学习，以提升源域训练的分割模型在目标域的泛化能力。现有方法虽然通过用自训练对无标记目标域图像进行伪标签训练的方式取得了很大进展，并提出多种方式来减少因领域迁移而产生的低质量伪标签，但效果参差不齐。针对该问题，提出一种基于掩码增强自训练的域适应方法对目标域图像掩码增强处理以生成伪标签，并对未掩码目标图像生成的伪标签进行修正，并且以最小化掩码图像伪标签和未掩码图像修正伪标签的一致性损失为目标，使模型学习到更多目标域特征的同时生成更鲁棒的伪标签。实验结果表明，所提方法在GTA5 （Grand Theft AutoV）→Cityscapes和SYNTHIA（SYNTHetic collection of Imagery and Annotations）→Cityscapes两项UDA任务常用的语义分割基准实验中均取得了不错的性能，比经典的DACS（Domain Adaptation Cross-domain Sampling）方法在GTA5和SYNTHIA数据集上的平均交并比（mIoU）分别提高了1.3和1.2个百分点；另外，消融实验结果也验证了所提掩码增强及伪标签修正模块的有效性。可见，所提出的自训练域适应方法学习到了更多的目标域上下文信息，并且提升了分割模型在目标域的泛化能力。

关键词：掩码增强,自训练机制,语义分割,迁移学习,域适应

基金资助：国家自然科学基金资助项目(12361072);新疆维吾尔自治区自然科学基金资助项目(2023D01A36);新疆维吾尔自治区自然科学基金资助项目(2023D01B48)