自适应性三次正则化拟牛顿算法研究及数值实验

摘要

优化问题求解基本步骤是通过对目标函数取二次泰勒展开式估计得到一个近似模型，这样构成原问题的子问题。在实际计算中目标函数的精确Hessian矩阵用近似矩阵取代，通常采取BFGS校正公式更新目标函数的精确Hessian矩阵。另一种方法是假设目标函数的二阶导函数是Lipschitz连续的，Lipschitz常数为L,利用二阶导函数的Lipschitz连续性得到一个带三次项的近似模型，这个带三次项的近似模型构成原问题的子问题具有更好的精确性和自适应性。
　　本研究主要内容包括：⑴通过对目标函数取三次正则化估计，得到一个新的拟牛顿方程，并根据这个新的拟牛顿方程推导出两个新的拟牛顿校正公式，它们分别是自适应性的对称秩-1校正公式和自适应性的对称秩-2校正公式，并分析了自适应性的对称校正公式与经典对称校正公式的差异。⑵在自适应性三次正则化拟牛顿算法中，利用自适应性的对称秩-2校正公式来更新目标函数的Hessian矩阵，通过大量的数值实验表明了自适应性三次正则化拟牛顿算法比普通的三次正则拟牛顿算法既快速又稳定。