基于归一化的自适应方差缩减方法

来源：软件学报杂志2025年第11期北京时间：

作者：姜伟，杨斯凡，王一博，张利军

单位：姜伟，计算机软件新技术全国重点实验室 (南京大学), 江苏 南京 21002311,杨斯凡，计算机软件新技术全国重点实验室 (南京大学), 江苏 南京 210023;南京大学 人工智能学院, 江苏 南京 21002302,王一博，计算机软件新技术全国重点实验室 (南京大学), 江苏 南京 210023;南京大学 人工智能学院, 江苏 南京 21002303,张利军，计算机软件新技术全国重点实验室 (南京大学), 江苏 南京 210023;南京大学 人工智能学院, 江苏 南京 21002304

摘要：随机优化算法是机器学习中处理大规模数据和复杂模型的重要方法. 其中, 方差缩减方法(如STORM算法)因其在随机非凸优化问题中能够实现最优的$ {\mathrm{O}}\left({T}^{-1/3}\right) $收敛速率而受到广泛关注. 然而, 传统的方差缩减方法通常需要依赖特定的问题参数(如光滑系数、噪声方差和梯度上界)来设置学习率和动量, 使得它们在实际应用中难以直接使用. 为了解决这一问题, 提出了一种基于归一化的自适应方差缩减方法, 该方法无需预先知道问题参数, 仍然能够实现最优的收敛速率. 与现有的自适应方差缩减方法相比, 所提方法具有以下显著优势: (1)无需依赖额外假设, 如梯度有界、函数值有界或极大的初始批量大小; (2)实现了最优的$ {\mathrm{O}}\left({T}^{-1/3}\right) $收敛速率, 不包含额外的$ \mathrm{O}\left(\mathrm{log}T\right) $项; (3)证明过程简洁明了, 便于推广到其他随机优化问题. 最后, 通过数值实验将该方法与其他方法进行了对比, 验证了其优越性.

关键词：随机优化;非凸优化;自适应算法;方差缩减;收敛性分析

基金资助：国家自然科学基金(62122037)