Barzilai-Borwein型算法的探讨

摘要

本文介绍了八种负梯度算法,根据特点对其进行了比较,并对不同维数的严格凸二次函数进行了计算,绘制图表观察数据,发现BB型算法更具优势,维数越大优势越大。选取不同的初始步长可以改变算法的效果,特别是当矩阵条件数越大时,初始步长的选取越关键,本文考虑了四种选择初始步长的方法,分别将其放入算法中进行数值实验,结果表明,选取Hessian矩阵最小特征值的倒数效果最好。最后,介绍了负梯度算法在深度学习中的应用。