A PROXIMAL REGULARIZATION OF THE STEEPEST DESCENT METHOD

摘要

We introduce a quadratic regularization term (in the spirit of the proximal point method) in the line searches of the steepest descent method, obtaining thus better convergence results. While the convergence analysis of the steepest descent method requires bounded level sets of the minimand to get a bounded sequence, and establishes, even for convex objectives, only optimality of the cluster points, our approach guarantees convergence of the whole sequence to a minimizer when the objective function is pseudo-convex, whether its level sets are bounded or not.%On introduit un terme de régularisation quadratique (dans l'esprit de la méthode du point proximal) dans les minimisations unidimensionnelles de la méthode du gradient, et on obtient ainsi des résultats de convergence plus forts. Tandis que l'analyse de la convergence de la méthode du gradient demande des ensembles de niveau bornés, et démontre, même pour des fonctions convexes, tout seulement l'optimalité des points d'accumulation, notre régularisation permet de démontrer la convergence de la suite toute entière à un minimisateur quand la fonction objectif est pseudo-convexe, même dans le cas où les ensembles de niveau ne sont pas bornés.