基于双模态融合的线缆图像语义分割方法研究

来源：电子测量技术杂志2023年第10期北京时间：

作者：曹国群，刘桂雄

单位：华南理工大学机械与汽车工程学院 广州 510640

摘要：线缆敷设时需要严格控制最小弯曲半径，线缆敷设图像准确分割是控制弯曲半径的基础，传统视觉方法、经典语义分割方法对复杂环境下线缆细长特征目标分割效果不佳。本文提出一种基于改进双模态融合语义分割网络ESANet的线缆语义分割方法，使用高效的SAGate代替ESANet中RGBD Fusion模块完成双模态特征校正与融合任务，融合特征分别同时参与后续两种模态的特征提取，实现细长特征线缆掩膜的准确分割。通过采集不同姿态的线缆RGB及对应深度图像进行实验，结果表明本文改进的ESANet网络对线缆等细长特征目标有较好好分割效果，较ESANet模型分割精度(mIoU)提升了399%，较RGB单模态语义分割网络SwiftNet精度提升768%，该方法可以推广到其它具有细长特征的目标分割任务中。

关键词：语义分割;双模态融合;深度学习;线缆

基金资助：广东省重点领域研发计划项目(2019B010154003)资助