几种逐步变量选择算法的探索与推广

摘要

本文在线性模型的框架下探索并推广了几种逐步型变量选择方法。首先，对于经典的向前选择算法与向后剔除算法，本文给出了其正交化的形式，并改进了经典的“向前-向后”逐步回归算法，使其更加实用，模拟结果说明改进后的“向前-向后”自适应算法在样本量不太少和噪声不太高时有非常高的选择正确率;其次，本文详细地介绍了最小角回归算法的思想和过程，并引入了一种倒向的拟最小角算法，模拟结果说明该算法至少可以和最小角回归算法相媲美，并且在特定情况下优于最小角回归算法，我们的模拟结果也证实了这一点;第三，我们知道最小角回归算法经过适当地调整可以产生Lasso所有可能的解，类似地，我们证明了倒向的拟最小角算法经过适当地调整可以倒向地产生Lasso算法所有可能的解;最后，本文将倒向的拟最小角算法推广到了偏相关系数的场合，模拟结果说明利用偏相关系数下的拟最小角算法选择变量再用最小二乘估计系数的两阶段算法可以起到很好的预测效果。

目录

声明

摘要

第一章 引言

第二章 经典的逐步选择算法

§2．1 正交化的向前选择算法

§2．2 正交化的向后剔除算法

§2．3 “向静-向后”自适应算法

第三章 最小角回归算法及推广

§3．1 最小角回归算法

§3．2 拟最小角倒向算法

§3．3 Lasso的倒向逐步实现算法

第四章 基于偏相关系数的变量选择算法

§4．1 偏相关系数简介

§4．2 基于偏相关系数的向前选择算法

§4．3 基于偏相关系数的向后剔除算法

§4．4 基于偏相关系数的拟最小角倒向算法

第五章 数值模拟与实例分析

参考文献

致谢