不同优化器在高斯噪声下对 LR 性能影响的研究

来源：计算机技术与发展杂志2020年第03期北京时间：

作者：徐龙飞;郁进明

摘要：目前机器学习算法已经应用到社会的各个领域,如数据挖掘、信息个性化推荐和自然语言处理等,在人们的工作 和生活中起到了重要作用。 线性回归模型(LR)是常见的机器学习算法的一种,具有使用简单,容易理解,便于执行等特 点,但在加入噪声干扰的情况下模型性能会受到较大影响。 LR的优化方式包括批量梯度下降(BGD)、随机梯度下降 (SGD)、小批量梯度下降(MBGD)和Adam优化器等,最终训练后的模型性能受到优化方式、学习率、噪声等诸多因素的影 响。 为了研究在加入高斯噪声的情况下如何选择优化器来改善LR模型的性能,使用了Python语言和TensorFlow框架,通 过比较几种优化器的损失函数和计算时间来研究加入高斯噪声后对LR模型性能的影响。 实验结果表明,在加入高斯噪 声的情况下,使用Adam优化器得出的损失函数和计算时间优于其他优化器。

关键词：机器学习;线性回归;优化器;损失函数;高斯噪声