基于多特征融合的城市场景三维点云语义分割

来源：计算机技术与发展杂志2023年第11期北京时间：

作者：刘贤梅;刘鹏飞;贾迪;赵娅

单位：东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318 Author(s): LIU Xian-mei;LIU Peng-fei;JIA Di;ZHAO Ya School of Computer and Information Technology,Northeast Petroleum University,Daqing 163318,China 关键词: 城市规模三维点云;语义分割;法向量;特征融合;多特征局部聚合 Keywords: urban-scale 3D point cloud;semantic segmentation;normal vector;feature fusion;multi-feature local aggregation 分类号: TP391 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 11. 012 摘要: 城市场景三维点云语义分割存在点云覆盖范围广、数据规模大、局部点云量稀疏、城市建筑风格各异等问题,仅依靠形状特征与颜色特征的分割方法无法对城市点云进行准确分割。 该文提出了一种基于多特征融合的城市场景三维点云语义分割方法 MFFN( Multi-Future Fusion Network)。 在预处理阶段对三维点云进行网格采样,降低了点云数据量,但同时最大程度保留点云的几何形状特征;引入每个采样点的法向量特征,有效弥补几何形状特征与颜色特征的不足;设计多特征局部聚合模块,将点云法向量特征和几何形状特征、颜色特征进行融合,增强网络对城市场景中表面凹凸程度相差较大的物体类别的学习能力。 在 SensatUrban 城市数据集上的结果显示, 该方法的平均交并比为 55. 90% , 总体精度为91郾 90% ,相比 RandLA-Net 网络分别提高了 3. 21 百分点和 2. 12 百分点,并且在多个城市类别上的分割精度均有较大提升。 Abstract: The semantic segmentation of urban scene 3D point cloud has the problems of wide point cloud coverage,large data scale,sparse local point cloud volume,and different styles?of urban buildings,etc. The segmentation method relying only on shape features andcolor features cannot accurately segment the urban point cloud. We propose a semantic segmentation method MFFN ( Multi - FutureFusion Network) based on multi-feature fusion for 3D point cloud of urban scene. 3D point cloud is meshed during the preprocessing　phase,which reduces the amount of data in the point cloud,while preserving the geometric features of the point cloud to the maximum.The normal vector feature of each sample point is introduced to effectively compensate for the shortcomings of geometric and colorfeatures. A multi-feature local aggregation module is designed,which combines the normal vector feature,geometric shape features andcolor features of point cloud to enhance the learning ability of the network for objects with different surface concaveness and convexity inurban scene. The results on the SensatUrban urban dataset show that the mean intersection over union of the proposed method is　55.90% ,and the overall accuracy of it is 91. 90% ,which is 3. 21 percentage points and 2. 12 percentage points higher than that of theRandLA-Net network,respectively,and the segmentation accuracy is greatly improved in several urban categories.

摘要：城市场景三维点云语义分割存在点云覆盖范围广、数据规模大、局部点云量稀疏、城市建筑风格各异等问题,仅依靠形状特征与颜色特征的分割方法无法对城市点云进行准确分割。 该文提出了一种基于多特征融合的城市场景三维点云语义分割方法 MFFN( Multi-Future Fusion Network)。 在预处理阶段对三维点云进行网格采样,降低了点云数据量,但同时最大程度保留点云的几何形状特征;引入每个采样点的法向量特征,有效弥补几何形状特征与颜色特征的不足;设计多特征局部聚合模块,将点云法向量特征和几何形状特征、颜色特征进行融合,增强网络对城市场景中表面凹凸程度相差较大的物体类别的学习能力。 在 SensatUrban 城市数据集上的结果显示, 该方法的平均交并比为 55. 90% , 总体精度为91郾 90% ,相比 RandLA-Net 网络分别提高了 3. 21 百分点和 2. 12 百分点,并且在多个城市类别上的分割精度均有较大提升。

关键词：城市规模三维点云;语义分割;法向量;特征融合;多特征局部聚合