基于时空解耦和区域鲁棒性增强的半监督视频目标分割方法

来源：计算机应用杂志2025年第5期北京时间：

作者：陈鹏宇, 聂秀山, 李南君, 李拓

单位：1.山东建筑大学 计算机科学与技术学院，济南 250101；2.山东云海国创云计算装备产业创新中心有限公司，济南 250013；3.高效能服务器和存储技术国家重点实验室（浪潮集团有限公司），济南 250013

摘要：针对半监督视频目标分割（VOS）领域中基于记忆的方法存在由于目标交互造成的物体遮挡以及背景中类似对象或噪声的干扰等问题，提出一种基于时空解耦和区域鲁棒性增强的半监督VOS方法。首先，构建一个结构化Transformer架构去除所有像素共有的特征信息，突出每个像素之间的差异，深入挖掘视频帧中目标的关键特征；其次，解耦当前帧与长期记忆帧之间的相似性，区分为时空相关性和目标重要性2个关键维度，使得对像素级时空特征和目标特征的分析更精确，从而解决由目标交互造成的物体遮挡问题；最后，设计一个区域条形注意力（RSA）模块，利用长期记忆中的目标位置信息增强对前景区域的关注度并抑制背景噪声。实验结果表明，所提方法在DAVIS 2017验证集上比重新训练的AOT（Associating Objects with Transformers）模型的J&F指标高1.7个百分点，在YouTube-VOS 2019验证集上比重新训练的AOT模型的总分高1.6个百分点。可见所提方法可有效解决半监督VOS存在的问题。

关键词：视频目标分割,时空解耦,半监督学习,Transformer,条形注意力

基金资助：国家自然科学基金资助项目(62176141);山东省杰出青年自然科学基金资助项目(ZR2021JQ26)