利用多种子信息聚合和正负混合学习的弱监督图像语义分割

来源：电子与信息学报杂志2025年第10期北京时间：

作者：桑雨, 刘通, 马天娇, 李乐, 李思漫, 刘宇男

单位：1.辽宁工程技术大学电子与信息工程学院 葫芦岛 1251052.渤海大学数学科学学院 锦州 1210133.大连海事大学人工智能学院 大连 116026

摘要：基于图像级标签的弱监督语义分割(WSSS)旨在通过类激活映射(CAM)生成伪标签(种子)，然后将其用于训练语义分割模型，为耗时且昂贵的像素级标注节省大量人力和财力。现有方法主要围绕CAM进行改进以获取单个优良的种子，同时通过一些后处理手段进一步提升种子的质量，但其得到的种子仍存在不等程度的噪声。为了减少噪声标签对分割网络造成的影响，考虑多个不同种子更能有效提取出正确信息，该文从多种子信息互补的角度，提出一种基于多种子信息聚合和正负混合学习的弱监督图像语义分割方法，通过在分类网络中改变输入图像尺度以及调整Dropout层随机隐藏神经元的概率，获取多个优良种子；依据它们对每个像素分配的类别标签情况进行优选获得聚合种子，并进一步区分该像素标签为干净标签还是噪声标签；利用正负混合学习训练语义分割网络，引入预测约束损失以避免网络对噪声标签给予过高的预测值，进而对干净标签应用正学习发挥正确信息的准确性，对噪声标签应用负学习抑制错误信息的影响，从而有效提升分割网络的性能。在PASCAL VOC 2012和MS COCO 2014验证集上实验结果表明，该文方法在基于卷积神经网络框架的分割网络中，mIoU分别达到了72.5%和40.8%，与RCA及URN方法相比分别提升了0.3%与0.1%；在基于Transformer框架的分割网络中，mIoU则提升至76.8%和46.7%，与CoBra及ECA方法相比分别提升了2.5%与1.6%，验证了方法的有效性。

关键词：弱监督语义分割, 类激活映射, 多种子, 交叉熵, 正负学习

基金资助：国家自然科学基金(62372077, 62302249)，中国博士后科学基金(2022M720624)，辽宁省教育厅科研基金(LJKQZ2021152)，国家重点研发计划(2019YFB2102400)，高校人才引进基金(18-1021)