LSTFormer：基于Swin Transformer的轻量化语义分割网络

来源：计算机工程与应用杂志2023年第12期北京时间：

作者：杨承, 高建瓴, 郑美琳, 丁容

单位：贵州大学 大数据与信息工程学院，贵阳 550025

摘要：针对现有基于Transformer的语义分割网络普遍存在计算复杂度高的问题，提出了一种基于Swin Transformer的轻量化语义分割网络。该网络通过Swin Transformer获取多个尺度的特征图；采用全感知模块和改进的级联融合模块跨层融合不同尺度的特征图，减小不同层级特征图的语义差距；引入单个Swin Transformer block对初分割特征映射进行优化，通过移动窗口自注意力机制提升网络对不同像素点进行分类的能力；训练阶段加入Dice损失函数和交叉熵损失函数，提高网络的分割性能和收敛速度。实验结果表明，LSTFormer在数据集ADE20K和Cityscapes上mIoU分别达到49.47％和81.47％，相较于SETR和Swin-UPerNet等同类网络，LSTFormer在保持相当分割精度的同时具有更低的参数量和计算量。

关键词：轻量化语义分割,Swin Transformer,跨层融合,自注意力机制,损失函数