掩模特征融合: 实例分割新范式

来源：计算机工程杂志2025年第2期北京时间：

作者：李伟康, 张思全

单位：上海海事大学物流工程学院, 上海 200135

摘要：实例分割任务是视觉场景理解的基本任务之一, 现有的算法具有一定的相似性, 通过梳理现有算法中的共通性与差异性, 抽象出一种新颖的实例分割范式: 掩模特征融合(MFF)。该范式将实例分割任务分为语义无关的掩模特征提取、语义相关的序列提取以及序列特征和掩模特征融合3个模块。进一步, 根据新范式的结构特性提出2项优化。首先, 通过设计一个非局部全局偏置增强骨干网络对全局信息的关注, 使掩模特征提取模块在网络浅层可以提取到全局的信息, 并且消除预训练权重带来的数据集固有偏置。其次, 实验过程中观察到一些Transformer模型在训练初期出现查询向量不稳定的现象, 即多数查询向量的感兴趣区域(ROI)在每次交叉注意力操作后会发生漂移现象。为了解决查询向量漂移的问题, 针对序列提取模块提出一种去噪训练的方法, 保证查询向量的注意力在训练前期就可以保持在同一区域, 从而加速Transformer解码器的收敛, 并在其他参数配置相同的情况下提高模型精度。实验结果证明了上述改进的有效性。在MS-COCO2017数据集上的实例分割任务中, 相比MMF范式的基础模型, 增加了新的改进措施后, 模型在掩模平均精度均值(mAP)指标上取得了5.0%的显著性能提升。

关键词：实例分割范式,掩模特征融合,非局部全局偏置,去噪训练,查询向量漂移

基金资助：国家自然科学基金(51175321)