基于混沌变量的变步长梯度下降优化算法

摘要

梯度下降法与混沌优化法均具有各自的缺点。该文将二者结合起来,利用混沌运动的遍历性,将混沌因子引入到变步长中,对梯度下降法进行改进。首先利用混沌变量来初始化步长大小,并随着搜索过程向最优点靠近,逐渐调整混沌变量,从而使步长的变化也不断变小,以使最优点附近步长波动平稳,避免了梯度下降法拉锯现象的产生。通过3个典型算例,用该算法和梯度下降法以及其他2种算法进行了优化计算对比。结果表明,采用该算法的迭代次数减少了45%以上。