基于 Mask R-CNN 和多特征融合的实例分割

来源：计算机技术与发展杂志2020年第09期北京时间：

作者：姜世浩;齐苏敏;王来花;贾惠

摘要：为了能够充分地利用图像特征信息,提升实例分割的效果,提出了一种基于 Mask R-CNN 网络结构和多特征融合的实例分割模型。 首先,在 Mask R-CNN 模型的基础上引入两条分支:一条基于整体嵌套边缘检测(HED)模型的边缘检测分支生成偏重于边缘信息的边缘特征图,一条基于全卷积网络(FCN)的语义分割分支生成偏重于空间位置信息的语义特征图。 然后,在进行感兴趣区域对齐(ROIAlign)时,为了充分利用特征金字塔的各层信息,将感兴趣区域(ROI)同时映射到相应的金字塔层及其相邻层。 最后,融合以上得到的多个特征图,生成信息更加丰富的新特征用于后续的检测和分割任务。 实验结果表明,该方法有效提高了检测和分割的准确性。 在使用 Resnet50-FPN 作为骨干网络且没有附加条件的情况下,与 Mask R-CNN 相比,该模型的检测和分割平均精度(mAP)分别提升了 1.2% 和 1.0% 。

关键词：实例分割;深度学习;Mask R-CNN;全卷积网络;特征融合