Keras和深度学习的周期性学习率的应用研究

摘要

学习率是深度神经网络中很重要的一个超参数,指代神经网络训练时在梯度下降时参数更新的步长,选取合适的学习率十分重要,太小了会减慢收敛,太大则会在最优点旁边左右摆动,而Cyclical Learning Rates(CLR)是一种自适应学习率的方法,它可以和上述的优化器结合,本文使用的Keras是一个高层神经网络API让学习率在一个范围内周期性地变化,从而加速收敛并提升模型性能.