若干半参数模型的稳健推断与模型选择方法

摘要

半参数模型不仅具有参数模型良好的解释性和非参数模型的灵活性，更为重要的是，它能有效地避免非参数模型遭遇的“维数祸根”(Bellman,1961)问题。因此该模型引起了统计学家们的兴趣与重视。尽管已经存在大量半参数模型相关的文献，但是其中大部分都是致力于均值回归，基于最小二乘、剖面最小二乘、似然函数和剖面似然函数的方法去研究的。众所周知，均值回归方法虽然在正态误差下被证明是最有效的，但在非正态误差下其估计效率可能会大打折扣。因此，如何建立一些稳健兼有效的估计方法是很有必要的。此外，模型选择在统计建模中发挥着至关重要的作用，为了提高模型的简洁性和预测精度，如何从一组候选模型中挑选出最优的模型，进而进行统计推断就显得尤为必要。所以本文我们的主要工作是致力于研究几类半参数模型的稳健估计及模型选择方法。具体内容包含以下几个部分。
　　第二章基于局部Walsh-average回归方法研究了单指标模型的稳健推断与变量选择问题。首先，通过一个Walsh-average迭代程序得到单指标参数和非参函数的估计，并在适当的假定下建立了所得估计的大样本性质。基于这些理论结果，进一步分析了该方法与相应最小二乘以及最小一乘方法所得估计的渐近相对效率。此外，对于模型的单指标参数，结合 SCAD惩罚考虑一个惩罚的Walsh-average回归以同时达到其参数估计与变量选择的目的，并提出了一个修正的 BIC准则来选取其中的惩罚参数。在适当的假定下，建立了所得惩罚估计的 Oracle性质。最后，本章数值模拟和实例数据分析进一步验证了所提方法的稳健性与有效性。
　　第三章研究了部分线性单指标模型的最小一乘稳健回归方法。首先，提出一个迭代算法求得单指标参数的估计，进而通过两步估计程序得到线性参数和非参函数的估计。此外，对于模型的线性部分，为了同时达到其参数估计与变量选择的效果，我们结合自适应Lasso惩罚和最小一乘回归考虑了其惩罚估计问题。在适当的假定下，我们建立了所得估计的大样本性质和变量选择的 Oracle性质。最后，本章数值模拟和实例数据分析进一步验证了所提方法的表现效果。
　　第四章针对上一章所考虑的部分线性单指标模型，结合局部众数回归和分步的思想提出了模型一个稳健兼有效的估计方法，并在适当的假定下分别建立了参数部分和非参数部分估计的大样本性质。为了得到模型中线性部分参数的惩罚估计，借助 SCAD惩罚和众数回归相结合的方法以同时达到变量选择和参数估计的效果，并建立了变量选择的 Oracle性质。另外，给出了一个修正的极大化期望算法来解决本章相关的计算问题。最后，本章数值模拟和实例数据分析进一步验证了所提方法的稳健性和有效性。
　　第五章主要研究了部分线性单指标模型两种不同估计方法的渐近性质。Xia等(2002)基于最小二乘回归提出了部分线性单指标模型中单指标参数的外积梯度估计方法，但是并没有从理论上证明该方法的大样本性质。因此，本章首先从理论上证明了Xia等(2002)所提估计的渐近正态性质。其次，考虑到最小二乘方法的估计效率容易受到异常点和厚尾分布的影响，结合局部秩回归和外积梯度思想提出了模型中单指标参数的一种稳健兼有效估计方法，并在适当的假定下建立相应估计的大样本性质。再次，基于两种方法的理论结果，分析了模型中参数和非参数部分相应估计的渐近相对效率。最后，本章数值模拟和实例数据分析进一步比较了两种方法的表现效果。
　　第六章考虑了半参数可加模型的稳健参数估计与模型识别问题。首先，基于B-样条逼近、众数回归和双SCAD惩罚提出了半参数可加模型一种稳健模型识别方法。在适当的假定下，建立了所提方法的理论性质，即该方法能够正确地识别出模型中的零成分、线性成分以及非线性成分，并且得到的线性参数估计量具有 Oracle性质。此外，为了解决本章的计算问题，给出了一个修正的极大化期望算法。最后，本章数值模拟进一步验证了所提方法的表现效果。

目录

封面

中文摘要

英文摘要

目录

1 绪 论

1.1 单指标模型

1.2 部分线性单指标模型

1.3 半参数可加模型

1.4 本文的研究内容和结构安排

2 单指标模型基于Walsh-average方法的稳健参数估计与变量

2.1 引言

2.2 基于Walsh-average方法的估计程序

2.3 大样本性质

2.4 单指标参数的变量选择

2.5 数值模拟与实例分析

2.6 本章小结

2.7 主要理论结果的证明

3 部分线性单指标模型的自适应L1-惩罚LAD回归

3.1 引言

3.2 单指标参数的估计方法

3.3 线性参数的自适应L1-惩罚LAD方法

3.4 大样本性质

3.5 数值模拟与实例分析

3.6 本章小结

3.7 主要理论结果的证明

4 部分线性单指标模型基于众数回归的稳健估计与变量选择

4.1 引言

4.2 估计方法和理论性质

4.3 线性部分参数的变量选择

4.4 窗宽的选择以及算法

4.5 数值模拟与实例分析

4.6 本章小结

4.7 主要理论结果的证明

5 部分线性单指标模型两种不同估计方法的渐近性质推断

5.1 引言

5.2 单指标参数两种不同的估计方法

5.3 大样本性质

5.4 数值模拟与实例分析

5.5 本章小结

5.6 主要理论结果的证明

6 半参数可加模型基于众数回归的稳健惩罚估计与模型识别

6.1 引言

6.2 基于样条逼近的众数回归方法

6.3 理论性质

6.4 窗宽选择与算法

6.5 数值模拟

6.6 本章小结

6.7 主要理论结果的证明

7总结

致谢

参考文献

附录

作者在攻读博士期间的研究成果及发表的论文：