基于多尺度特征增强与全局-局部特征聚合的视频目标分割算法

来源：电子与信息学报杂志2024年第11期北京时间：

作者：侯志强, 董佳乐, 马素刚, 王晨旭, 杨小宝, 王昀琛

单位：1.西安邮电大学计算机学院 西安 7101212.西安邮电大学陕西省网络数据分析与智能处理实验室 西安 710121

摘要：针对记忆网络算法中多尺度特征表达能力不足和浅层特征没有充分利用的问题，该文提出一种多尺度特征增强与全局-局部特征聚合的视频目标分割(VOS)算法。首先，通过多尺度特征增强模块融合可参考掩码分支和可参考RGB分支的不同尺度特征信息，增强多尺度特征的表达能力；同时，建立了全局-局部特征聚合模块，利用不同大小感受野的卷积操作来提取特征，并通过特征聚合模块来自适应地融合全局区域和局部区域的特征，这种融合方式可以更好地捕捉目标的全局特征和细节信息，提高分割的准确性；最后，设计了跨层融合模块，利用浅层特征的空间细节信息来提升分割掩码的精度，通过将浅层特征与深层特征融合，能更好地捕捉目标的细节和边缘信息。实验结果表明，在公开数据集DAVIS2016, DAVIS2017和YouTube-2018上，该文算法的综合性能分别达到91.8%、84.5%和83.0%，在单目标和多目标分割任务上都能实时运行。

关键词：视频目标分割, 记忆网络, 孪生网络, 特征融合, 掩码细化

基金资助：国家自然科学基金(62072370)，陕西省自然科学基金(2023-JC-YB-598)