基于改进SwiftNet的堆场图像实时分割网络

来源：计算机工程杂志2024年第6期北京时间：

作者：陈晓玉, 沈晨, 沈阅, 孔德明

单位：1. 燕山大学信息科学与工程学院, 河北 秦皇岛 066004;2. 河北燕大燕软信息系统有限公司, 河北 秦皇岛 066000;3. 燕山大学电气工程学院, 河北 秦皇岛 066004

摘要：在堆场环境下,实时图像语义分割可以提供直观的场景类别信息。为节约工控机等边缘设备的硬件资源以及为多源信息融合提供图像语义类别信息,提出一种轻量化的实时语义分割网络模型。首先提出基于空间注意力引导的上采样融合模块,通过引入空间注意力和残差注意力结构设计一种轻量化的解码器,在上采样过程中还原空间细节,抑制冗余信息,进而融合不同来源的特征图;其次提出一种轻量化的级联空洞空间金字塔模块,利用级联的空洞卷积单元增大网络感受野,有效提取多尺度特征;最后使用通道分离、通道混洗、通道池化等操作,降低多尺度聚合过程中的计算开销。在公开数据集Camvid上,该模型的平均交并比(MIoU)为70.1%,推理速度为146.3 帧/s,分割精度和推理速度优于ENet、ICNet等模型,消融实验结果也证明了所提各模块的有效性;在实际堆场图像数据集上,该模型的MIoU为93.5%,推理速度为123.8帧/s,证明模型结构具有良好的泛化性能。

关键词：实时语义分割,注意力机制,空洞卷积,感受野,堆场图像

基金资助：国家自然科学基金(62173289);航空科学基金(20200016099002)。