求解多核学习的自适应随机递归梯度下降法

来源：计算机技术与发展杂志2025年第07期北京时间：

作者：王梅;任怡果*;刘勇;王志宝;

单位：1. 东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318;2. 黑龙江省石油大数据与智能分析重点实验室,黑龙江 大庆 163318;3. 中国人民大学 高瓴人工智能学院,北京 100049;4. 东北石油大学 环渤海能源研究院,河北 秦皇岛 066004

摘要：针对随机递归梯度法(SARAH)求解多核学习(MKL)的不足之处,如收敛速度缓慢以及计算成本高等问题,该文提出一种改进算法———基于随机 Polyak 步长(SPS)的小批量随机递归梯度下降算法(SPS-MSARAH)来求解多核学习优化问题。 首先将小批量方法引入随机方差缩减类算法中,选取一个固定大小的样本集代替单个训练样本计算 SARAH 的梯度,降低传统随机梯度下降算法使用单个样本计算梯度导致较大的波动和不稳定性所带来的方差。 在此基础上,使用随机 Polyak 步长自适应地更新小批量 SARAH 的步长,使得优化过程更加灵活和鲁棒,从而解决随机优化算法中步长选取的难题。 为了验证该算法的有效性,在标准数据集上进行了详细的数值实验。 实验结果显示,在求解大规模多核学习优化问题时,SPS-MSARAH 算法不仅显著提高了收敛速度,还有效降低了计算复杂度。 此外,对初始参数的敏感性问题也得到了很好的克服,展现出良好的鲁棒性。

关键词：多核学习;随机递归梯度下降法;随机Polyak步长;小批量;凸优化