双通道特征融合的真实场景点云语义分割方法

来源：计算机工程与应用杂志2024年第12期北京时间：

作者：孙刘杰, 朱耀达, 王文举

单位：上海理工大学 出版印刷与艺术设计学院，上海 200093

摘要：真实场景点云不仅具有点云的空间几何信息，还具有三维物体的颜色信息，现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息，因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet（dual-channel feature fusion of real scene for point cloud semantic segmentation）可用于不同场景下的室内外场景语义分割。更具体地说，为了解决不能充分提取真实场景点云颜色信息的问题，该方法采用上下两个输入通道，通道均采用相同的特征提取网络结构，其中上通道的输入是完整RGB颜色和点云坐标信息，该通道主要关注于复杂物体对象场景特征，下通道仅输入点云坐标信息，该通道主要关注于点云的空间几何特征；在每个通道中为了更好地提取局部与全局信息，改善网络性能，引入了层间融合模块和Transformer通道特征扩充模块；同时，针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系，导致对复杂场景的分割效果不佳的问题，对上下两个通道所提取的特征通过DCFFS（dual-channel feature fusion segmentation）模块进行融合，并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验，实验结果表明，提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上，平均交并比（MIOU）分别达到71.18%和48.87%，平均准确率（MACC）和整体准确率（OACC）分别达到77.01%与86.91%，实现了真实场景的高精度点云语义分割。

关键词：深度学习,双通道特征融合,点云语义分割,注意力机制