基于YOLO的多模态钢轨表面缺陷检测方法

来源：电子测量技术杂志2024年第21期北京时间：

作者：孙铁强，魏光辉，宋超，肖鹏程

单位：1.华北理工大学人工智能学院 唐山 063210; 2.华北理工大学河北工业智能感知重点实验室 唐山 063210; 3.华北理工大学河北工业智能感知重点实验室 唐山 063210

摘要：针对钢轨表面缺陷区域与背景区域特征相似特性导致的模型检测性能下降问题，本文研究高实时性轻量级目标检测网络YOLOv8n，提出一种基于YOLO的多模态钢轨表面缺陷检测算法RailBiModal-YOLO。改进YOLOv8n模型：构建双流主干网络结构并行提取多尺度深度信息和RGB信息；为降低低质量图像特征相互干扰并能充分利用双模态互补信息，设计了一种即插即用的双模态特征交互修正融合模块；在多尺度特征构建阶段引入EVCBlock，增强RGB-D特征层的层内信息交互，提高小缺陷检测能力。以东北大学NEU-RSDDS-AUG作为实验数据集，将数据集自定义划分为4种典型缺陷类型，以平均精度均值mAP、每秒检测帧数FPS、参数量作为主要评价指标，实验结果表明：所提模型与原模型相比，在保证高检测速度的同时，mAP@50，mAP@50:95分别提高1.8%和3.2%，并具有更强鲁棒性。

关键词：YOLOv8n;缺陷检测;多模态;RGB-D;特征融合;深度学习

基金资助：河北省“三三三人才工程”项目（A202102002）、河北省创新能力提升计划（23561007D）、2023年唐山市重点研发项目（23140204A）资助