梯度有偏随机DA优化方法的个体收敛界分析

来源：计算机工程杂志2019年第10期北京时间：

作者：张梦晗, 汪海, 刘欣, 鲍蕾

单位：中国人民解放军陆军炮兵防空兵学院 a. 信息工程系;b. 基础部, 合肥 230031

摘要：样本不满足独立同分布会使梯度估计在迭代过程中存在偏差，且最优的个体收敛界在噪声的干扰下无法确定。为此，提出一种线性插值随机对偶平均（DA）优化方法。给出DA方法收敛性的证明，在梯度估计有偏的基础上，求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界，以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明，与随机加速方法相比，该方法具有较快的个体收敛速率与较高的收敛精度。

关键词：对偶平均方法,随机优化,个体收敛性,梯度有偏估计,最优收敛速率

基金资助：国家自然科学基金（61673394）。