A Survey of L_1 Regression

摘要

La régularisation L_1, ou régularisation par pénalisation L_1, est une notion populaire en statistique et en "machine learning". Cet article examine le concept et les applications en régression de ces méthodes de régularisation. Notre but n'est pas de présenter une liste exhaustive des usages de la pénalisation L_1dans les problèmes de régression; au contraire, nous nous concentrons sur ce que nous croyons être l'ensemble des usages les plus représentatifs de cette technique, et les décrivons en détail. Ainsi, nous traitons d'un certain nombre de méthodes faisant intervenir la régularisation L_1 en régression linéaire, dans les modèles linéaires généralisés, et en analyse des séries temporelles. Bien que cette revue cible la pratique plutôt que la théorie, nous donnons quelques précisions théoriques sur la méthode couramment désignée sous le nom de "lasso".%L_1 regularization, or regularization with an L_1 penalty, is a popular idea in statistics and machine learning. This paper reviews the concept and application of L_1 regularization for regression. It is not our aim to present a comprehensive list of the utilities of the L_1 penalty in the regression setting. Rather, we focus on what we believe is the set of most representative uses of this regularization technique, which we describe in some detail. Thus, we deal with a number of L_1-regularized methods for linear regression, generalized linear models, and time series analysis. Although this review targets practice rather than theory, we do give some theoretical details about L_1-penalized linear regression, usually referred to as the least absolute shrinkage and selection operator (lasso).