基于挤压激励的轻量化注意力机制模块

来源：计算机应用杂志2022年第8期北京时间：

作者：吕振虎, 许新征, 张芳艳

单位：1.中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116；2.光电技术与智能控制教育部重点实验室(兰州交通大学), 兰州 730070；3.宁夏大学 智能工程与技术学院, 宁夏 中卫 755000

摘要：针对向卷积神经网络（CNN）中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题，提出基于挤压激励的轻量化高度维度挤压激励（HD-SE）模块和宽度维度挤压激励（WD-SE）模块。为了充分利用特征图中潜在的信息，HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作，获得高度维度上的权重信息；而WD-SE在宽度维度上进行挤压激励操作，以得到特征图宽度维度上的权重信息；然后，将得到的权重信息分别应用于对应维度的特征图张量，以提高模型的应用精度。将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中，在CIFAR10和CIFAR100数据集上进行的实验结果表明，与挤压激励（SE）模块、协调注意力（CA）模块、卷积块注意力模块（CBAM）和高效通道注意力（ECA）模块等先进的注意力机制模块相比，HD-SE与WD-SE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高。

关键词：卷积神经网络,挤压激励,轻量化,多维度,注意力机制模块

基金资助：国家自然科学基金资助项目(61976217);光电技术与智能控制教育部重点实验室（兰州交通大学）开放课题(KFKT2020-03)