基于自适应动量更新策略的Adams算法

来源：上海理工大学学报杂志2023年第2期北京时间：

作者：李满园，罗飞，顾春华，罗勇军，丁炜超

单位：华东理工大学 信息科学与工程学院, 上海 200237,华东理工大学 信息科学与工程学院, 上海 200237,华东理工大学 信息科学与工程学院, 上海 200237,华东理工大学 信息科学与工程学院, 上海 200237,华东理工大学 信息科学与工程学院, 上海 200237

摘要：Adam算法是目前最常用的优化算法之一，但其面临学习率震荡导致模型不收敛问题，其改进算法AMSGrad也存在梯度递减导致的二阶动量失效问题。针对上述问题，提出了基于自适应动量更新策略的Adams算法。首先，通过为一阶动量和二阶动量引入自适应更新参数，并在最后的参数更新期间采用较小的一阶动量更新参数，构建了一种自适应的动量更新策略。其次，基于该更新策略，提出了一种能够快速收敛的Adams算法。最后，通过理论分析证明了Adams算法的收敛性。基于文本分类和图像分类的对比实验表明，相比于Adam和AMSGrad算法，Adams收敛速度更快、训练结果更好，且具有优秀的泛化能力；消融实验证明了Adams算法自适应动量更新策略的有效性。

关键词：优化算法;自适应动量更新策略;一阶动量;二阶动量

基金资助：国家自然科学基金资助项目（62276097）；上海市自然科学基金资助项目(22ZR1416500)；上海市青年科技英才扬帆计划（20YF1410900）；上海市“科技创新行动计划”（21002411000）