非单调线搜索下改进的共轭梯度法

摘要

共轭梯度法是求解无约束最优化问题的一类重要的方法，其显著优点是存储量小且具有较好的收敛性质，因此它尤其适合于求解大规模优化问题；然而该方法的一个缺点在于算法不一定能够产生下降方向，有些共轭梯度法虽然具有下降性，但其下降性较强地依赖于算法所采用的线搜索。因此，本文对标准的共轭梯度法进行了修正。另一方面，非单调线搜索技术在求解无约束优化问题上也得到了广泛应用，该技术不要求函数值在每一步下降，只要在步内下降即可(其中是一个正常数)。从非单调技术提出以来，很多学者致力于将传统的非单调线搜索进行改进，并取得了很好的效果。目前，关于共轭梯度法和非单调技术结合的研究更是引起了很多学者的研究兴趣。
　　 本文主要研究将非单调技术应用于修正的共轭梯度法和混合共轭梯度法。首先提出一种新的修正FR方法，并与改进的非单调Armijo线搜索结合，给出了一种非单调修正FR算法，证明了新算法的全局收敛性质。其次，将易芳[1]提出的一种修正的PRP算法与改进的非单调Armijo线搜索结合，提出了一种非单调修正PRP算法，并给出了算法的全局收敛性证明。我们用标准测试函数对以上两个算法进行数值试验，并与非单调线搜索下标准的FR算法和PRP算法进行比较，数值结果表明新算法效果良好。考虑到FR方法良好的收敛性和PRP方法好的数值表现，Touati-Ahmed和Storey[2]将这两种方法进行结合，给出了几种混合共轭梯度算法，本文将其中数值表现较好的第三种混合FR-PRP方法与非单调Wolfe线搜索相结合，给出了求解无约束最优化问题的非单调混合共轭梯度法，并证明了该算法的全局收敛性。