线性模型中的参数估计及稳健变量选择方法研究

摘要

参数估计是建立线性模型最为关键的部分之一，其直接影响统计模型的正确性，因此很多研究者对如何提高参数估计的准确度做了大量研究工作。在数据正常情况下，目前已有很多切实可行的参数估计方法，而本文主要研究当数据中同时存在复共线性数据和异常值或数据来自于重尾分布时，如何进行参数估计。本文主要研究以下两种情况下线性模型中如何进行参数估计。
　　第一种情况，当所有解释变量都是重要变量，数据中同时存在复共线性和异常值时，本文结合前人提出的估计，提出了一种新的估计形式----带约束的双参数稳健岭估计(RTRME)。该新估计具有岭估计、双参数估计、稳健估计的优良性质，能同时克服数据中复共线性和异常值的影响。本文在均方误差矩阵准则下从理论上将新估计RTRME与RTRE和TRME做比较。数值模拟实验表明，不同的参数条件下，新估计RTRME几乎总是优于RTRE和TRME，随后给出的数据实例同样证明RTRME优于另两种估计，说明本文提出的新估计具有实际操作可行性。
　　第二种情况是，当解释变量中存在冗余变量，数据中存在复共线性和异常值时，我们采用稳健变量选择法进行参数估计。本文首先介绍了传统稳健变量选择法LAD-lasso和稳健估计PWLS，结合二者的优点，本文提出了新的稳健变量选择方法PWLS-LAD。本文介绍了该新方法的实现思想和算法，并讨论了如何进行截断参数的选取。本文通过数值模拟实验，在正常数据、包含异常值的数据、重尾分布数据三种情况下，将新方法PWLS-LAD与传统变量选择法LASSO、SCAD、LAD-lasso进行了比较。主要比较了各方法选择非0系数变量的准确率、模型预测误差、参数估计的MSE值。实验结果表明，在数据正常时，新方法与传统方法效果没有明显差距，当数据中存在异常值或数据服从重尾分布时，传统变量选择法不及稳健方法变现好，同时稳健方法中，新方法PWLS-LAD又优于一般LAD-lasso，说明本文提出的新方法PWLS-LAD具有广泛的适应性，并且具有良好的稳健性。

目录

1 引 言

1.1 参数估计

1.2 变量选择

1.3 本文的研究内容

2 预备知识简介

2.1 线性模型

2.2 经典变量选择方法介绍

2.3 稳健变量选择

3 约束的双参数稳健岭估计

3.1新估计的估计形式

3.2 均方误差准则下的比较

3.2 参数q的选择

3.3 数值模拟

3.4 实例应用

3.5 本章小结

4 稳健变量选择方法研究

4.1 罚加权最小二乘

4.2 罚加权最小一乘变量选择法

4.3 参数的选取

4.4 数值实验模拟

4.5 本章小结

5 结论与展望

致谢

参考文献

附录

A. 作者在攻读硕士学位期间发表的论文目录