多尺度特征融合的RGB-D图像显著性目标检测

来源：计算机工程与应用杂志2024年第11期北京时间：

作者：王震, 于万钧, 陈颖

单位：上海应用技术大学 计算机科学与信息工程学院，上海 201418

摘要：显著性目标检测是计算机视觉的一个基础问题，目前很多基于深度学习的显著性检测方法都是将RGB图像和深度图按照输入融合或结果融合的方法进行特征融合，但这些方法并不能有效地融合特征图，为了提升显著性目标检测算法性能，提出了一种多尺度特征融合的RGB-D图像显著性目标检测方法。将模型主体设计为两个特征编码器、两个特征解码器和一个跨模特多尺度特征交错融合模块。两个特征编码器分别对应RGB图和深度图，其采用经过ImageNet数据集预训练的ResNet50网络，特征解码器用于解码编码器的五种不同尺度的输出，跨模态多尺度特征交错融合模块用于融合解码器和编码器提取的不同尺度的特征图，并将五个层次的融合结果进行拼接和降维，输出最终的显著性预测图。实验在四个公开的显著性数据集上与以往具有代表性的十个模型进行了比较，该模型在各个数据集上，相比于性能第二的模型，S-measure平均提高了0.391%，MAE平均减少了0.330%，F-measure平均减少了0.405%。提出了一种多尺度特征融合模型，摒弃了以往融合的方式，采用特征融合，将浅层和深层的特征分别进行交错融合，实验表明，提出的方法较以往的方法有更强的性能，能够取得更好的效果。

关键词：显著性物体检测,多模图像融合,多支路协同预测,多尺度特征