基于DMN的跨模态目标实例分割方法

来源：计算机工程与应用杂志2022年第20期北京时间：

作者：熊珺瑶, 宋振峰, 王蓉

单位：中国人民公安大学 信息与网络安全学院，北京 100038

摘要：在DMN的基础上提出一种跨模态目标实例分割方法，旨在结合自然语言表达，利用不同模态信息从图像中分割所描述对象。在视觉特征提取网络DPN92中引入CBAM注意力机制，关注空间和通道上的有用信息；将BN层替换为联合BN和FRN的正则化，减少批次量和通道数对提取特征网络性能的影响，提高网络的泛化能力；在三个通用数据集ReferIt、GRef和UNC上进行仿真实验。实验结果显示，提出的引入CBAM注意力机制和联合正则化改进模型在mIou评价指标上，ReferIt和GRef上分别提升了1.85和0.52个百分点，在UNC三个验证集上分别提升了1.98、2.22和2.75个百分点。表明改进模型在预测准确度方面优于已有模型。

关键词：跨模态,自然语言处理,目标实例分割,注意力机制,联合正则化