尺度不变的条件数约束的模型鲁棒性增强算法

来源：计算机工程与应用杂志2024年第8期北京时间：

作者：徐杨宇, 高宝元, 郭杰龙, 邵东恒, 魏宪

单位：1.中国科学院 福建物质结构研究所，福州 350002 ；2.中国科学院大学，北京 100049；3.福建师范大学 计算机与网络空间安全学院，福州 350117；4.中国科学院 海西研究院 泉州装备制造研究中心，福建 泉州 362200

摘要：深度神经网络容易受到对抗样本的攻击，这一直威胁着其在安全关键的场景中的应用。基于对抗样本是由神经网络的高度线性行为产生的这一解释，提出了一种基于尺度不变的条件数约束的模型鲁棒性增强算法。在对抗训练过程中利用权重矩阵计算其范数，并通过对数函数获得尺度不变的约束项。将尺度不变的条件数约束项纳入到对抗训练优化的外层框架中，经过反向传播迭代降低权重矩阵的条件数值，从而在良态的高维权重空间中进行神经网络的线性变换，以提高防御对抗扰动的鲁棒性。该算法适用于卷积和Transformer两种架构的视觉模型，不仅在防御PGD、AutoAttack等白盒攻击时可以显著提高鲁棒精度，在防御黑盒攻击square attack等算法时也能有效增强对抗鲁棒性。在基于Transformer架构的图像分类模型上进行对抗训练时结合所提出的约束，权重矩阵的条件数值平均下降了20.7%，防御PGD攻击时可提高1.16个百分点的鲁棒精度。与Lipschitz约束等同类方法相比，提出的算法还能提高干净样本的精度，缓解对抗训练造成的模型泛化性低的问题。

关键词：对抗训练,对抗鲁棒性,条件数,尺度不变性,图像分类