广义线性模型中的参数估计及变量选择方法研究

摘要

本研究分成两种情况对广义线性模型中的这一问题进行分析并提出在各种情况下应该如何处理。第一种情况是当模型中我们所选择的每一个变量都不可缺少，同时这些变量之间又具有一定的多重共线性问题时，我们通常选择岭估计方法，因为岭估计不仅仅能够选出所有的变量，同时岭估计还对模型进行了一定的压缩惩罚，能够解决多重共线性问题。但是由于岭估计中含有岭参数，岭参数的选取直接影响模型的精确度。所以本文通过对岭参数在一般线性模型和广义线性模型中的参数估计方法进行总结，同时提出一种新的岭参数估计方法，且将这些参数估计方法运用于Logistic岭回归模型中，进行分析。运用Monte Carlo模拟，通过比较模型的均方误差（MSE）、参数的均值、参数的标准差（SD）来进行比较分析，得到新提出的参数估计方法在Logistic回归模型中，不仅具有相对较小的 MSE，并且是这些参数估计方法中最稳定的一种，从而可以得到新提出的岭参数估计方法相对较优第二种情况是当模型是含有一些对模型无用变量的大型模型时，需要对模型中的变量进行筛选，通过压缩惩罚使得一些解释变量的回归系数压缩到零，进而达到变量选择的目的。本文先对文献中提出的一些经典的变量选择方法LASSO、SCAD、Elastic Net和MCP进行综述。并且由于在Breheny和Huang(2011)这篇文章中曾指出在一般线性回归模型和Logistic回归模型下，MCP都相对优于LASSO和SCAD，所以本文将这四种变量选择方法运用到Poisson回归模型中并在不同情况下进行了模拟实验。当变量之间是相对独立的，得到MCP能够准确的找出解释变量中系数不为零的变量，同时选出的其他不相关的变量是最少的；当变量之间有一定的相关关系时，MCP同时也是这几种变量选择方法中能够最准确的找出所需的变量；当变量之间含有一定的组效应时，MCP相对效果也是非常的理想。因此我们得到MCP变量选择方法，相对而言优于LASSO、SCAD和Elastic Net变量选择方法。

目录

封面

中文摘要

英文摘要

目录

1 引 言

1.1参数估计

1.1.1参数估计的研究意义

1.1.2参数估计的国内外研究现状

1.2变量选择

1.2.1变量选择的研究意义

1.2.2变量选择的国内外研究现状

1.3本文研究内容

2 基础知识

2.1线性模型

2.1.1一般线性模型

2.1.2广义线性模型

2.2岭参数估计方法

2.2.1岭估计

2.2.2岭参数估计

2.3变量选择方法

2.3.1 Lasso惩罚

2.3.2 SCAD惩罚

2.3.3Elastic Net惩罚

2.3.4 MCP惩罚

3 Logistic回归模型中的岭参数估计

3.1 Logistic回归模型岭估计定义

3.2 Logistic模型岭参数估计的蒙特卡洛实验

3.2.1实验设计

3.2.2 实验结果

3.3 本章小结

4 Poisson模型中的变量选择

4.1 Poisson模型变量选择定义

4.2 Poisson模型变量选择的蒙特卡洛模拟

4.2.1 实验设计

4.2.2 实验结果

4.3 本章小结

5 总结与展望

致谢

参考文献

附录: A. 作者在攻读硕士学位期间发表的论文目录