文本模态辅助的RGB显著性目标检测

来源：计算机工程与应用杂志2025年第17期北京时间：

作者：韩春禹, 马骏, 沙洪涵, 肖鑫, 陆晨凯, 颜鑫, 张霞

单位：1.北京邮电大学 信息光子学与光通信全国重点实验室，北京 100876；2.北京邮电大学 电子工程学院，北京 100876

摘要：显著性目标检测是从图片或视频中寻找客观上最具显著性的物体的过程。针对在杂乱且前背景区分度较低的场景中检测性能下降的问题，提出了一种基于文本信息辅助的显著性目标检测模型。所提出的模型通过融合RGB特征和图像描述网络生成的图像字幕文本信息，以捕捉场景中大多数对象的语义信息，从而抑制背景噪声、增强网络对目标的表征能力。同时提出跨模态指导融合模块，利用自交互和互交互的方式有效融合文本模态和RGB模态。针对全局注意力机制容易忽略细节信息的问题，提出了混合注意力模块，在全局和局部层次上建模上下文信息，从而进一步提高预测的准确性。在通用指标如平均绝对误差（MAE）、结构相似度（S）、加权F值（FW）上，实验证明了所提出模型的有效性。

关键词：显著性目标检测,多模态,神经网络,文本信息