双流差模引导的红外可见光目标检测

来源：计算机工程与应用杂志2026年第15期北京时间：

作者：刘丰源, 王泉, 曹燚

单位：1.南京信息工程大学 计算机学院，南京 210044；2.无锡学院 物联网工程学院，江苏 无锡 214105；

摘要：针对红外与可见光图像在低照度、遮挡等复杂环境下目标检测性能下降以及模态特征融合不足的问题，提出一种基于双流特征提取与差模感知增强的红外-可见光目标检测方法。该方法采用双Backbone架构，分别独立提取红外图像与可见光图像的多尺度特征，以避免模态间干扰。在特征提取过程中引入模态内增强模块CPCA，通过通道注意机制与多尺度方向感知卷积结构对各自模态特征进行空间和通道的联合建模，提升不同尺寸目标的感知能力。将增强后的多尺度特征送入差模引导的跨模态融合模块CFFM，从两个模态的差值信息中提取互补区域，并结合空间注意力机制进行显著性增强，实现红外与可见光信息的有效融合。在融合后的特征图上，采用改进的YOLO结构完成特征金字塔构建与目标检测。此外，在检测头中引入了融合MPDIoU与InnerIoU的新型边界框回归损失函数，以更精细地度量预测框与真实框之间的空间匹配程度，有效提升目标定位精度和模型收敛稳定性。在LLVIP与M3FD等公开红外-可见光数据集上的实验结果表明，所提方法在检测准确率与鲁棒性方面均显著优于多种现有主流算法。其中，在这两个数据集上的mAP分别提升6.8和9.9个百分点，在遮挡与低照度场景中的Recall分别提升8.5和11.8个百分点。上述结果验证了该方法在多模态信息融合与边界框优化方面的有效性与实用价值。

关键词：目标检测,多模态融合,双流网络,差模增强

基金资助：2023年度江苏省高校优秀科技创新团队项目（实时工业物联网）；无锡市“太湖之光”科技攻关（基础研究）项目（K20241046）；2023年度江苏高校哲学社会科学研究一般项目（2023SJYB0919）；国家传感网工程技术研究中心开放课题基金（2024YJZXKFKT02）；无锡学院高层次人才科研启动专项经费（2022r043）。