基于注意力机制与多尺度池化的实时语义分割网络

来源：计算机工程杂志2023年第10期北京时间：

作者：王卓, 瞿绍军

单位：湖南师范大学 信息科学与工程学院, 长沙 410081

摘要：现有语义分割算法在精确度方面表现良好，但在速度上难以满足实时性要求。为提升网络分割速度同时确保高精确度，提出一种新型实时语义分割网络。设计融合通道注意力模块，先通过最大池化和平均池化捕捉全局特征，对池化后的特征图进行级联、卷积和变形以得到各通道权重，再将原特征图与各通道权重进行矩阵乘法操作，得到融合通道权重。将融合通道权重与原特征图进行元素级乘法操作，保证各通道权重与原特征图有效融合。提出一种轻量化金字塔场景解析模块，使用多尺度池化操作充分捕捉多尺度目标特征，在原金字塔场景解析模块的基础上减少池化后的特征图通道数，从而降低计算量。池化后特征图以级联方式连接，利用输入特征图引导连接后的特征图，以有效融合高层和低层特征图。在公共图像数据集Cityscapes上进行实验，结果表明，该网络在验证集、测试集上的准确率分别达到74.6%、73.8%，分割速度达到60.6帧/s，分割性能优于ICNet、DFANet-A等网络。

关键词：语义分割,全局特征,注意力机制,金字塔场景解析,多尺度池化

基金资助：国家自然科学基金(12071126)