Universal Consistency and Bloat in GP. Some theoretical considerations about Genetic Programming from a Statistical Learning Theory viewpoint

摘要

Dans cet article, nous proposons une étude de la Programmation Génétique (PG) du point de vue de la théorie de l'Apprentissage 'Statistique dans le cadre de la régression symbolique. En particulier, nous nous sommes intéressés à la consistence universelle en PG, c'est-à-dire la convergence presque sûre vers l'erreur bayésienne à mesure que le nombre d'exemples augmente, ainsi qu 'au problème bien connu en PG de la croissance incontrôlée de la taille du code (i.e. le "bloat"). Les résultats que nous avons obtenus montrent d'une part que l'on peut identifier plusieurs types de bloat et d'autre part que la consistence universelle et l'absence de bloat peuvent être obtenues sous certaines conditions. Nous proposons finalement une méthode ad hoc évitant justement le bloat tout en garantissant la consistence universelle.%In this paper, we provide an analysis of Genetic Programming (GP) from the Statistical Learning Theory viewpoint in the scope of symbolic regression. Firstly, we are interested in Universal Consistency, i.e. the fact that the solution minimizing the empirical error does converge to the best possible error when the number of examples goes to infinity, and secondly, we focus our attention on the uncontrolled growth of program length (i.e. bloat), which is a well-known problem in GP. Results show that (1) several kinds of code bloats may be identified and that (2) Universal consistency can be obtained as well as avoiding bloat under some conditions. We conclude by describing an ad hoc method that makes it possible simultaneously to avoid bloat and to ensure universal consistency.