多模态融合的三维目标检测方法研究

来源：计算机工程与应用杂志2024年第13期北京时间：

作者：田枫, 宗内丽, 刘芳, 卢圆圆, 刘超, 姜文文, 赵玲, 韩玉祥

单位：东北石油大学 计算机与信息技术学院，黑龙江 大庆 163318

摘要：针对点云稀疏性与无序性导致基于纯点云的检测算法容易出现远小目标漏检和误检的问题，提出一种融合图像特征与点云体素特征的多模态三维目标检测算法。在图像特征提取阶段，提出一种轻量级深度残差网络，减少图像特征通道数，使其与点云体素特征相一致，提高点云和图像特征的融合能力；在体素特征与图像特征融合阶段，提出一种双次特征融合网络，在保留原始体素特征结构信息的基础上将图像特征和体素特征进行融合，使点云具备丰富的语义信息，提高远小目标检测精度。在KITTI数据集上实验结果显示，与基线模型相比，对小汽车、骑行者与行人的3D平均检测精度分别提高了0.76个百分点、2.30个百分点、3.43个百分点。实验结果验证了所提方法对于解决远小目标误检和漏检问题的有效性。

关键词：三维目标检测,深度残差网络,体素特征,图像特征,特征融合,双次特征融合网络