一种逻辑回归学习率自适应调整方法

摘要

在用梯度算法求解逻辑回归分类问题时,由于学习率不同的设置,会使得模型收敛较慢以及在极值点附近出现震荡.而学习率多数凭借经验或按迭代的次数进行调整,效果欠佳.为此提出一种自适应调整方法,在不引入新参数的同时,根据样本集分类准确率的变化对学习率进行更新.在梯度下降较快时,增大学习率,加快收敛速度;在梯度平缓时,缩小学习率,减少最优解在极值点附近的震荡,实验结果验证了该方法的有效性.