尺度因子正则化BN算法
来源：计算机应用与软件杂志2024年第6期北京时间：
作者：刘向阳, 汪琦
摘要：针对进一步提升深度神经网络训练的收敛速度问题,借鉴批规范化(Batch Normalization,BN)算法的特点,提出尺度因子正则化BN算法。通过对BN层中的可学习尺度因子WTBXγWT施加L2正则化,使得WTBXγWT得到衰减,进而参数的梯度上界降低,优化空间更加平滑。基于VGG16 Net与AlexNet,在cifar10、cifar100及裂缝图像数据集上进行该算法与BN算法的图像分类对比实验,结果表明该算法不仅提高了网络训练的收敛速度,而且在相同训练次数下提高了准确率。
关键词：批规范化, 尺度因子, L2正则化, 图像分类
