基于雷达和视觉多层级信息融合的目标检测网络

来源：电子测量技术杂志2024年第24期北京时间：

作者：周志伟，周建江，王佳宾，邓凯

单位：南京航空航天大学雷达成像与微波光子技术教育部重点实验室 南京 211100

摘要：针对自动驾驶感知任务中由于道路环境复杂、车载雷达和摄像头数据融合不充分导致的一些高危险性动目标检测效果过差的问题，本文在Centerfusion的基础之上设计了一种雷达和视觉多层级信息融合的目标检测网络MLFusionNet。首先在输入层增加了数据级融合，将雷达回波特征以像素值的形式和图像进行拼接后再通过一个二级残差融合模块输入到编解码网络，丰富了网络的输入信息；然后在骨干网络的编码器和解码器之间设计了一种瓶颈结构的上下文模块，通过多分支的卷积结构获取特征图中更广泛的上下文信息，并通过压缩通道的方式降低参数量；最后设计了一种并行注意力融合模块，解决了特征级模态融合不充分的问题。在nuScenes数据集上的实验结果表明MLFusionNet的NDS达到了46.6%，相比较多模态网络Centerfusion汽车、卡车和行人的mAP分别提升了1.4%、3.0%和1.5%，说明网络更加关注驾驶环境中的高危险性动态目标。

关键词：深度学习;目标检测;特征融合;注意力机制

基金资助：国家自然科学基金(61502228)项目资助