期望相依和异方差检验以及非稀疏高维模型的推断

摘要

本论文中，我们考虑两个问题:关于期望相依和异方差的检验问题，以及对转换模型的估计问题。论文的检验部分，我们考虑了两类检验:正期望相依的检验和单指标模型的异方差的检验。第二个问题中，我们考虑了高维非稀疏线性变换模型的估计问题。无论是在理论上还是实际数据中，检验和高维数据作为统计的两个主旋律，变得越来越重要。
　　1.期望相依检验Wright(1987)[88]首先提出了一阶期望相依的概念，随后Li(2011)[54]把这个概念推广到高阶情况。这一概念已被广泛的用于研究经济问题和金融问题，如投资组合和资产配置，风险评估的需求，投资组合多样化和最有投资等问题中。
　　无可厚非，在相依的框架下，一阶期望相依比随机变量之间的相关性更加严格。尽管期望相依这个概念在近年来得到广泛关注，但是在实际数据中，正期望相依或负期望相依是否成立并不是很显而易见的。如果在没有任何统计推断的情况，而直接假设这种类型的相依结构成立可能会导致我们在股权溢价和资产配置中得到非常糟糕的结果。据我们所知，期望相依的检验并没有得到应有的关注。
　　论文的第一部分中，我们首先利用一阶正期望相依的等价形式重新定义了原假设和备择假设。由此我们对一阶正期望相依提出了一个柯尔莫哥洛夫-斯米尔诺夫型的检验统计量并且进一步研究了相关的渐近性质。这些性质表明我们提出的检验统计量能够很好的控制第一类错误，并且在检测全局备择假设时是相合的。另外，这个检验统计量能够检测出接近1/√n的速度收敛到原假设的局部备择假设，其中1/√n的速度是假设检验问题中最快的收敛速率。进一步，我们推广这一检验统计量到高阶的情况，并且得到了平行于一阶情况对应的渐近性质。在检验的实施过程中，由于样本分布和原假设下的极限分布是不可操作的，为了实施我们提出的这类检验方法，我们建议使用非参数蒙特卡罗检验去确定p值或者临界值。
　　2.单指标模型的异方差检验对于因变量Y和p维的解释变量X，单指标模型具有下面的形式:Y=g(X(T)β)+ε, E(ε|X)=0,(0.0.1)其中g(·)是一个未知的光滑函数，β是p维未知参数向量，给定X，并且残差相ε的条件期望是0。另外，式子(0.0.1)中的记号X(T)表示X的转置。为了可识别性的考虑，我们假设参数向量β满足‖β‖=1并且它的第一个非零参数是正的，其中‖·‖表示欧式范数。如果连接函数g(·)是提前给定的，单指标模型就可以缩减为广义线性模型。因此，单指标模型有相对灵活的模型结构。更进一步，相比较完全的非参数回归模型，单指标模型覆盖了Y关于一维变量X(T)β的信息。这个特征说明单指标模型仍然有很好的解释性。相比较非参数模型，也避免了维数灾难的问题。因此，在参数和非参数回归模型之间作为一个妥协，单指标模型已经在多个研究领域得到了广泛的关注，例如经济和统计中，见Powell et.al.(1989)[69]和Ichimura(1993)[49]。
　　对单指标模型的均值函数估计问题，存在大量的文献广泛的讨论这个问题，例如:Ichimura(1993)[49]对一般的结构模型提出了半参数最小二乘估计，H(a)rdle和Stoker(1989)[44]发展了一个平均微分估计，使得这个估计以n-1/2的速度收敛到指标参数的真值。Xia et al.(2002)[85]提出了一个适应方法，称最小平均方差估计(MAVE)，它在一个相对弱的条件下可用于估计单指标模型。Cui et al.(2011)[17]介绍了一个估计函数去研究单指标模型，Sheng和Yin(2013)[72]更进一步基于距离协方差提出了一个新的估计方法。然而，在面对异方差的时候，这些估计在有效性方面表现的非常差，甚至是不相合的。因此异方差检验对于单指标模型来说是一个非常重要的问题。
　　论文的第二部分，我们根据不同的模型结构发展了两个检验统计量。第一个是核光滑类非参数检验，它可以用于检测一般的非参数异方差。事实上，在备择假设下，不论有没有假设特定的方差函数形式，这个检验统计量可以用于异方差检测。然而当协变量的维数比较大时候，在非参数估计时，会遭受所谓的维数灾难。当均值函数和方差函数有相同的降维结构并且分享同一个指标，我们结合降维结构发展了一个检验统计量，从而使得这个检验可以避免维数灾难。通过数值模拟比较，发现一些很有趣的特征是:当降维结构成立的时候，相比第一个检验统计量，第二检验方法在原假设下以一个很快的收敛速度收敛到极限分布，并且它可以检测出一个以更快的速度收敛到原假设的局部备择假设。但是，当降维结构不成立的时候，第二检验统计量表现的比较差。也就说，这个方法在违反了降维结构的时候，它是不稳健的。
　　3.高维非稀疏变换模型基于拟工具变量的统计推断考虑下面的线性变换模型:
　　H(Y)=X(T)β+∈，(0.0.2)其中Y是因变量，H(·)表示已知或未知的单调变换函数，X=（X1，X2，…，Xp）(T)是一个p维预测向量，β=（β1，β2,…，βp）(T)是我们感兴趣的回归参数向量，残差项(ε)服从连续分布并与X相互独立。这个模型避开了所谓的维数灾难，被广泛应用到现代的许多科学领域，如基因芯片技术，医疗成像，文字识别，金融和化学计量学。
　　当H(·)是已知函数时，模型(0.0.2)包含了非常著名的比例风险模型和比例优势模型，这两个模型均被广泛的研究;另一方面，当H(·)是未知的，模型(0.0.2)变成一个经典的半参模型，并且许多文献深入研究了这类半参数模型。一般来说，高维回归模型一个显著特征是维数p很大但样本量n相对较小。此外，在高维回归模型中，通常假设许多预测变量对响应变量并不重要，所以变量选择是十分必要的。作为一个降维工具，变换模型自然而然的也会面临高维的情况。提出的许多变量选择的方法通过惩罚或者收缩的方式。这些方法包括但不限于惩罚偏似然法(Tibshirani，1997[77])惩罚边际似然法(Lu和Zhang，2007，[61])，基于鞅估计方程的方法(Zhang et al.2010，[93])，和惩罚光滑秩相关方法(Lin和Peng2012，[57])。另一类重要的方法是基于Fan和Lv(2008)[33]提出的特征筛选的想法，例如，Zhu et al.(2011)[98]和Li et al.(2012)[53]。
　　值得注意的是，在某些特定的技术条件下，对于稀疏线性模型，LASSO(Tib-shirani，1996，[76])和Dantzig selector(Candés和Tao，2007，[7])估计的理想风险率分别是√/log(p)s/n和√/log(p)s/(kn)，其中s表示非零系数的个数，k和约束特征值假设相关，具体细节见文献Zhang和Huang(2008)[91]和Peter et al.(2009)[66]。对于广义非线性模型，Van de Geer(2008)[81]建立一个与l1惩罚估计量相似的结果。在广义线性模型的框架下，Fan和Lv(2011)提出的惩罚似然方法得到的风险率是√log(n)s/n。然而，当p和s很大时，相应的风险率变得非常大甚至在实际应用中无法接受。为了降低风险率，并且得到更快的收敛速度，最近Belloni和Chernozhukov(2013)[2]对线性模型提出先变量选择，在进行最小二乘的估计方法。
　　更需要指出的是，稀疏条件并不是一个合理的假设条件，这是因为实数据分析中，既不能检测也不能证明这一条件成立与否。为了得到这个条件对估计的影响，简单起见，我们假设前q个预测变量是比较重要预测变量，用(L)={1，2,…，q}来表示;后面的p-q个预测变量表示不重要但是也没必要对响应变量Y是无关的。我们把X和β分别写成X=(Z(T)，U(T))(T)和β=(v(T)，(v)(T))(T)，其中Z=(X1，…，Xq)(T)并且U=(Xq+1,…，Xp)(T).对应地，我们考虑下面的工作模型:H(Y)=Z(T)v+(ε)，(0.0.3)其中(ε)=U(T)(v)+(ε)表示误差项。很自然，我们可以通过诸如LASSO之类的变量选择方法获得这种工作模型。然而，在模型(0.0.2)是非稀疏的情况下，有一些相对重要的变量在变量选择的时候可能会被忽略了。在这种情况下，如果Z与U的某些项是相关的，那么一般情况下式成立:E（(ε)|Z）=p∑j=q+1βjE（Xj|Z）≠0.(0.0.4)上述不等式意味着工作模型(0.0.3)是有偏模型。因此，使用传统的估计方法得到v的相合估计会面临很大的挑战。我们借用计量经济学的术语，模型(0.0.4)中的预测变量称为内生变量(Fan和Liao，2014，[32])，即完整模型(0.0.2)中相对应于那些相对重要变量。因此，期望得到一个无偏的工作模型可以与全模型有相同的等价形式是不合理的。
　　论文第三部分中，首先我们对非稀疏模型定义相对重要的解释变量并且识别LASSO方法变量选择后的工作模型。通过LASSO变量选择之后，构造拟工具变量，从而构建一个偏校正的工作模型，即:一个无偏的部分线性模型，但是这个模型并不是传统意义上的部分线性模型。在一个非稀疏高维转换模型的框架下，我们得到了一个√n相合的估计。更加重要的是，对相对重要的变量对应的系数，我们得到了的估计是渐近正态的。最后，因为这个新的估计方法，涉及到一个非参数估计，如果拟工具变量的维数变大的时候，这也许会导致无效的估计。因此，在不损失太多信息的情况下，我们提出了一个构造低维拟工具变量的新方法。最后，我们有限的数值模拟表明我们提出的这个新方法表现的非常好。
　　最后，论文的第四部分中，我们总结了本论文的主要结果并且介绍了我们工作的进一步的研究计划！

目录

声明

摘要

符号说明

第一章 正期望相依检验

§1．1 引言

§1．2 检验统计量和渐近性质

§1．2．1 一阶期望相依

§1．2．2 高阶扩展

§1．3 实施过程

§1．4 数值模拟

§1．5 实际数据分析

§1．6 附录1

第二章 单指标模型的异方差检验

§2．1 引言

§2．2 完全非参数方差的异方差检验

§2．3 降维结构下的异方差检验

§2．4 数值分析和实际数据分析

§2．4．1 数值模拟

§2．4．2 实际数据分析

§2．5 附录2

§2．5．1 简单的回顾一下β的估计

§2．5．2 定理的证明

第三章 高维非稀疏变换模型基于拟工具变量的统计推断

§3．1 引言

§3．2 回顾变量选择及工作模型的建立

§3．2．1 稀疏惩罚最小二乘法

§3．2．2 LASSO变量选择后工作模型的可辨识性

§3．3 模型重构及推断

§3．3．1 偏差修正

§3．3．2 估计

§3．3．3 渐进性质

§3．3．4 预测

§3．3．5 拟工具变量的降维

§3．4 数值模拟

§3．5 附录3

第四章 结论

参考文献

致谢

硕博连读期间发表和完成的论文