改进型的batch normalization:BNalpha

来源：计算机应用研究杂志2021年第6期北京时间：

作者：罗晨辉,孙洪飞,

单位：厦门大学航空航天学院,福建厦门361101；

摘要：针对提高卷积神经网络（convolutional neural network，CNN）在图像识别方向的训练速度和识别准确率进行了研究。从BN（batch normalization）着手，通过新增参数对BN的仿射变换进行具体调节，并提出一种改进型的BN——BNalpha。除去带有某些特定结构的神经网络，相对于原始的BN，BNalpha可以在不增加运算复杂度的前提下，提升神经网络的训练速度和识别准确度。通过对BN仿射变换的参数进行分析和对比，尝试解释BN在网络中的运行机理，并以此说明BNalpha相对于BN的改进为何生效。最后通过CIFAR-10和CIFAR-100数据集以及不同类型的卷积神经网络结构对BNalpha和BN进行对比实验分析，实验结果表明BNalpha能够进一步提升训练速度和识别准确度。

关键词：卷积神经网络,深度学习,图像识别,批标准化,

基金资助：国家自然科学基金资助项目(61273153,61374037)；；