基于图像和点云实例匹配的智能车目标检测和跟踪
来源：机械工程学报杂志2024年第22期北京时间：
作者：李尚杰, 殷国栋, 耿可可, 刘帅鹏
单位：东南大学机械工程学院 南京 211189
摘要：针对智能车的环境感知任务，为了结合相机图像中丰富的语义信息与激光雷达点云中准确的位置信息，提出一种基于图像和点云实例匹配的融合检测方法。通过实例分割网络预测图像中目标的实例掩膜，通过透视投影变换将点云投影至图像平面，根据每个目标的实例掩膜提取属于该目标的点云，然后利用聚类算法去除点云中的噪声，并利用凸包轮廓逼近算法拟合点云的三维轮廓，实现对目标的融合检测。在所提出的融合检测方法的基础上，设计跟踪门实现多目标的数据关联与管理，基于卡尔曼滤波对目标进行跟踪并估计各目标的运动状态。试验结果表明，该方法能够有效地对图像数据和点云数据进行信息融合，从而准确快速地对目标的位置、尺寸、方向角进行拟合并对目标的速度进行估计，且在不同试验场景中表现出鲁棒性。
关键词：智能车,目标检测,目标跟踪,传感器融合,实例分割,透视投影；
基金资助：长三角科技创新体联合攻关(2023CSJGG1600)、国家自然科学基金(52272414)和国家重点研发计划(2023YFD2000303)资助项目。
