不同优化器在高斯噪声下对LR性能影响的研究

摘要

cqvip:目前机器学习算法已经应用到社会的各个领域,如数据挖掘、信息个性化推荐和自然语言处理等,在人们的工作和生活中起到了重要作用。线性回归模型(LR)是常见的机器学习算法的一种,具有使用简单,容易理解,便于执行等特点,但在加入噪声干扰的情况下模型性能会受到较大影响。LR的优化方式包括批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(MBGD)和Adam优化器等,最终训练后的模型性能受到优化方式、学习率、噪声等诸多因素的影响。为了研究在加入高斯噪声的情况下如何选择优化器来改善LR模型的性能,使用了Python语言和TensorFlow框架,通过比较几种优化器的损失函数和计算时间来研究加入高斯噪声后对LR模型性能的影响。实验结果表明,在加入高斯噪声的情况下,使用Adam优化器得出的损失函数和计算时间优于其他优化器。