单参数通道注意力模块

来源：计算机技术与发展杂志2023年第12期北京时间：

作者：姚亮亮;';张太红;'*;张洋宁;';温钊发;'

单位：1. 新疆农业大学 计算机与信息工程学院,新疆 乌鲁木齐 830052;2. 智能农业教育部工程研究中心,新疆 乌鲁木齐 830052;3. 新疆农业信息化工程技术研究中心,新疆 乌鲁木齐 830052

摘要：随着深度学习的发展,通道注意力在卷积神经网络上的表征能力上发挥了巨大的作用。 为了进一步加强通道注意力模块在深度神经网络中的作用,针对通道注意力的参数量方面,提出了一种单参数通道注意力( APA) 模块。 首先,APA 模块在图像通道特征的求和向量上加单参数。 然后,通过度量通道向量和求和向量在方向上的关系,求取通道注意力权重。 最后,经过激活函数(Sigmoid) 激活注意力权重,使其分布更平稳。 与其他通道注意力模块相比,该模块只有微量参数,且该模块的代码实现非常简单。 在数据集 CIFAR-10 与 CIFAR-100 上,使用 APA 模块嵌入到 MobileNet,ResNet系列主干,与同类方法压缩激励模块( SE) 、有效的通道注意力模块( ECA)进行了实验对比,验证了 APA 模块的有效性。

关键词：卷积神经网络;深度学习;通道注意力;图像分类;计算量