江苏大学学报·自然科学版杂志投稿格式参考范文：基于激光雷达与相机融合的城市交叉路口车辆识别技术

　　无人车自动驾驶系统技术主要分为感知定位、决策规划、控制执行 3 大模块。环境感知模块处于自动驾驶系统架构的上游，通过车上安装的视觉传感器或者雷达获取周围环境信息，算法模块通过对传感器输入的原始数据进行处理后，将准确的环境信息输给下游模块。因此，如何快速准确理解并感知环境信息，是保障无人车准确进行决策规划与控制执行的前提。

　　按感知环境用传感器的布置方案可将无人车大致分为 2 类：①以激光雷达为主要传感器、单独相机等为辅助传感器的方案;②以相机为主要传感器、毫米波雷达等为辅助传感器的方案。李研芳等、杨鑫等采用决策级融合方法，将四线激光雷达检测结果与基于图像的检测结果进行融合，弥补了单一传感器的局限，解决了单独毫米波雷达传感器存在的虚假目标问题和单独相机存在的漏检问题。郑少武等采用深度学习方法，分别对点云数据与图像数据进行目标检测，并采用匈牙利算法进行跟踪匹配，输出最终的融合结果，但该方法没有考虑投影后置信度的问题，无法消除外参误差对融合结果带来的影响。陈昆设计了一种基于双目视觉和激光雷达前融合的道路环境感知方法，基于卷积神经网络方法，对双目视差图和激光雷达视差图进行融合，提高了算法的可移植性。梁晨晨等提出一种基于角度对齐的毫米波雷达与相机的决策级目标检测方法，通过联合标定和近似插值，将摄像头识别到的目标与毫米波雷达探测到的目标进行融合，实现道路环境的融合感知。

　　笔者基于 FloodFill 与谱聚类算法相结合的激光雷达目标检测方法，提出激光雷达与相机融合的城市交叉口车辆识别检测方案，基于平面法线对齐方法对激光雷达点云与相机图像进行时间与空间对齐，并引入遗传算法对求解结果进行优化。设置城市典型交叉路口环境，采用该检测法对激光雷达与相机融合的车辆识别效果进行分析，对所提出的决策级融合方案的正确性与有效性进行验证。

　　1 基于激光雷达的点云聚类目标检测

　　传统的欧氏聚类算法本质上是将距离较近的点聚为一类，只要点与点之间的距离小于设定的半径阈值，即认为属于一类，这种聚类方法会将 2 个距离近的目标识别为同一个物体。在城市交叉路口场景中，待检测目标之间的距离通常会很小，传统的聚类方法无法满足无人车对交通场景的检测需求，而聚类分割问题则可将聚类问题转化为求解 2 个子图之间相互连接的边权值最小问题，从而使得每个子图内部数据点的相似度最大，子图之间的相似度最小，即将点云的聚类分割问题转换为子图的最优划分问题。本研究提出一种基于 FloodFill 与谱聚类算法结合的激光雷达点云聚类方法，结合搜索算法理论与图像分割领域中的谱聚类理论，首先对预处理后的点云进行过分割，再利用谱聚类算法对过分割的结果进行重新聚类，即可完成对交叉路口场景车辆或行人目标的检测。

　　结合 FloodFill 算法与谱聚类算法的点云聚类方法，首先利用 FloodFill 算法将激光雷达点云做 1 次简单的聚类，得到聚类后点云，并对点云进行过分割;然后利用谱聚类算法将过分割的点云重新聚合，构造高度特征，并结合高度特征和欧氏距离来计算连通组件之间的权重;最后根据权重矩阵来重新聚合连通组件，达到聚类点云的目的。

　　利用 SVLSimulator 自动驾驶仿真软件，模拟城市道路中的交叉路口场景，对基于 FloodFill 算法结合谱聚类算法的激光雷达点云聚类方法进行仿真，晴天场景激光雷达检测结果显示：经过激光雷达点云类聚，50m 以内左侧相邻的 4 辆车，被分割为 4 个目标，由于激光雷达传感器的属性限制，存在目标之间互相遮挡问题;由于黄色校车位于激光雷达 50m 以外的远处，激光雷达产生了识别错误，校车车身后半部没有被检测到。

　　2 基于图像的目标检测

　　基于 YOLOv2，重新设计网络的预测参数和损失函数，使用 VOC2007 数据集中城市交叉口及汽车的图片对神经网络进行训练。首先输入图像，并根据选用的卷积网络调整图像的大小，得到卷积特征图;然后利用检测网络进行回归和分类处理，得到目标边框，进行目标识别。设置交叉路口仿真场景，利用短焦相机识别，基于图像的车辆目标识别结果显示，基于图像方法，无法对距离无人车 50m 以外目标进行识别。

　　3 激光雷达与相机信息融合检测方法

　　目标融合主要包含激光雷达和相机检测数据的空间对齐以及时间对齐。空间对齐主要是解决相机坐标系与激光雷达坐标系之间的位姿转换关系，时间对齐则是解决由于激光雷达与相机传感器频率不同造成的时间戳不同步问题。经过空间和时间同步之后，即可获得信息完整的目标信息，为无人车自动驾驶系统下游模块提供可靠、丰富的环境信息。

　　激光雷达与相机的空间对齐：空间对齐方式是将激光雷达坐标系通过一系列转换与相机坐标系进行重合，实现点云信息和图像信息的一致。由于传感器在无人车上的安装位置不同，激光雷达坐标系与相机坐标系之间存在旋转和平移转换。本研究采用标定板法线拟合方式来求解，并引入遗传算法对参数进行优化。首先估计旋转向量，在激光雷达点云库中利用自带函数可以提取出目标标定板的点云平面以及其法线向量，相机中标定板的法线求解库中同样可以检测标定板在图像中的像素点，根据制作标定板的参数可以直接获得该像素点对应在标定板坐标系中的实际位置，将相机的内参数、畸变参数和对应的匹配点，利用 PnP 函数对输出的旋转向量做罗德里格斯变换，即可得到旋转矩阵，再由旋转矩阵计算得到法线向量，将相关向量代入公式，即可解出激光雷达到相机的旋转关系，进而得到平移矩阵。采用遗传算法来优化位姿参数，在标定过程中，通过不断变换标定板与传感器之间的距离和标定板的角度，求解多组结果，作为遗传算法优化的样本种群。设计适应度函数来计算法线对齐的误差及法线与平面的位置误差等，解决了遗传算法优化中个体评估问题，适应度函数值低的个体将被送入交叉、变异流程中进行更新迭代，直到获得最优估计值或者达到最大迭代次数，遗传算法终止。

　　激光雷达与相机的时间对齐：在真实道路场景中，激光雷达和相机是互相独立的传感器，二者坐标系互相独立，且采样频率不同。虽然进行空间对齐将二者的坐标系联合起来，但是无人车在行驶时，周围环境一直处于变化中，采样频率不同导致无人车接收的点云信息和图像信息不一致，会影响信息融合的精度。因此需要对激光雷达和相机采集的信息进行时间同步，保证激光雷达和相机在同一时刻完成信息采集，即 1 帧点云信息对应 1 帧图像信息，从而提高信息融合的精度。选用激光雷达的工作频率为 20.0Hz，相机工作频率为 28.7Hz。鉴于相机的扫描频率高于激光雷达，因此，采用基于时间戳的同步方式。以激光雷达的扫描时刻为基准，对相机采集的图像信息进行缓存，系统在接收点云信息和图像信息时会附加系统当前时刻的时间戳。当点云信息获取后，从缓存中找到与该时刻点云信息的时间戳最相近的图像信息，然后将点云信息和图像信息同时送入处理函数进行信息融合，完成 2 种传感器信息的时间同步。

　　点云与图像信息融合：点云和图像信息完成时间、空间匹配后，接下来对 2 种信息进行融合。采用目标级融合策略，将激光雷达点云聚类得到的障碍物投影到图像上，障碍物点云的三维包络框变成二维包络框，然后与图像中车辆目标分类器得到的像素二维框进行对比，并基于激光雷达的物理特性设计新的融合指标。对采样的 20 组数据进行重投影，分析其重投影误差，中心点重投影像素误差小于 15mm，这对于低速无人车而言，能够满足数据融合的要求。

　　4 仿真结果与分析

　　在 SVLSimulator 自动驾驶仿真软件中，分别构建晴天、雾天、夜晚以及雨天场景，将 2 种传感器融合，检测结果与单传感器检测结果进行对比。

　　晴天场景：晴天单相机检测结果显示，在相机视野内的车辆可被检测到，对相机视野外的目标无法进行检测。单激光雷达检测结果显示，对近处的车辆激光雷达检测效果良好，但远处目标无法检测，而相机可以检测到。将 2 种传感器融合，检测结果在检测范围上有明显增大，使无人车具备感知周围 360° 范围内的目标，且增加了有效检测距离，至 50m 以外的远处。

　　雾天场景：雾天单相机检测结果显示，由于浓雾的影响，极大降低了图像中目标的色彩强度变化，增大了特征提取的难度，导致相机视野中的目标出现漏检。单激光雷达检测结果显示，浓雾对其检测影响不大。将 2 种传感器融合，由于浓雾影响了相机对远处目标的识别，导致无人车的检测范围并没有增加，但融合激光雷达之后，能够克服由于浓雾对相机检测造成的影响，实现了无人车周围 360° 范围内的目标感知。

　　夜晚场景：夜晚单相机检测结果显示，无人车右前方的一辆车在高精度地图中的车道位置与仿真器中车辆真实的车道位置不对应，这是由于夜晚相机对目标距离估计不准所造成的。而激光雷达在夜间的检测结果相对相机的检测结果更加准确，且不受光线影响。将 2 种传感器融合，融合检测可以弥补相机受光线影响的缺陷。

　　雨天场景：雨天单相机检测结果显示，由于雨水影响，造成相机对车辆目标位置的估计出现偏差。单激光雷达的检测结果显示，目标位置检测相对相机更加准确，但检测不到远处的白色轿车。将 2 种传感器融合，采用融合激光雷达检测，可减小雨水天气对无人车感知功能的影响，在雨天下依然能对远处车辆目标进行识别，实现了无人车周围 360° 范围内的目标感知。

　　综合 4 种天气条件下对单相机检测结果、激光雷达检测结果和融合检测结果进行可视化，并统计车辆目标的检测结果，发现在不同天气条件下，单传感器检测与传感器融合检测均存在不同程度的目标漏检情况，单相机检测情况下，漏检数量最多，融合检测漏检数量最少。通过传感器的融合，感知系统可以综合相机与激光雷达的优势，实现优势互补，使得远处的车辆目标能被无人车识别，并且借助激光雷达 360° 的视野优势，实现对交叉路口的全方位感知。

　　5 结论

　　基于 FloodFill 与谱聚类算法结合方法，提出基于激光雷达点云的目标检测方法，将谱聚类算法应用于点云的聚类分割中，考虑连通组件之间的特征距离，改进相似度矩阵。结果表明，激光雷达对近处目标有良好的检测效果，对于距离无人车 50m 以内的相邻车道中的车辆目标，能够准确识别其位置。

　　基于平面法线对齐方法，对激光雷达点云信息与相机图像信息进行融合，引入遗传算法对求解结果进行优化，对结果进行高斯分布处理，获得最优解。结果表明，重投影像素误差小于 15mm。

　　构建城市交叉口仿真环境，针对晴天、雨天、夜晚及雾天场景，分别对单相机检测、激光雷达检测及融合检测方法进行仿真分析。结果表明，进行传感器融合之后，综合激光雷达与相机的优势，无人车能够对自车周围 360° 范围内的目标进行识别。

李胜琴;孙 鑫;张民安,东北林业大学机电工程学院,202406