基于激活调制的双分支弱监督语义分割

来源：电子测量技术杂志2024年第24期北京时间：

作者：王家莉，谭棉，冯夫健

单位：1.贵州民族大学数据科学与信息工程学院 贵阳 550025; 2.贵州省模式识别与人工智能系统重点实验室 贵阳 550025

摘要：图像级标注的语义分割因具有友好的注释和令人满意的性能而被广泛研究。针对类激活图激活区域稀疏、前背景间语义模糊问题，提出基于激活调制的双分支弱监督语义分割网络。该网络以Resnet50和Vision Transformer作为双分支特征提取网络，并设计激活调制模块嵌入卷积分支，该模块迫使模型激活中间分数的像素，生成紧凑的类激活图，从而缓解类激活图激活区域稀疏的问题。其次，提出基于余弦退火衰减的动态阈值调整策略，该策略在训练过程中自适应的确定背景最高阈值，使更多低置信前景像素参与到分割训练中，生成完整且准确的分割图。在PASCAL VOC 2012以及MS COCO 2014数据集上验证该网络的有效性。PASCAL VOC 2012验证集和测试集上的mIou值分别为74.2%和74.0%，在MS COCO 2014验证集上的mIou值为45.9%。实验结果表明，该网络可以解决前背景颜色相似场景下的误分割问题并取得优异的分割性能。

关键词：弱监督学习;语义分割;类激活图;激活调制;动态阈值

基金资助：贵州省科技计划项目（QKHJCZK2022YB195，QKHJCZK2023YB143，QKHPTRCZCKJ2021007，QKHJCZK2022YB197）、贵州省教育厅自然科学研究项目（QJJ2022015，QJJ2023061，QJJ2023012，QJJ2022047，QJJ2024063）、贵州民族大学博士研究启动项目（GZMUZK［2024］QD04）资助