加权平均最小二乘方法及其在广义线性模型中的应用研究

摘要

在计量经济学中，许多统计学家和经济学家开始研究模型不确定性下的参数估计，其中受欢迎的两种方法是模型选择和模型平均。在模型选择中，最初的模型选择步骤对最后得出的估计量的统计性质有不可忽视的影响。而模型平均，通过计算所有可能模型的条件估计的加权平均，将所有有效信息片段结合成无条件估计，合并了由模型选择步骤和模型估计步骤带来的不确定性。贝叶斯模型平均估计（BMA）已经成为一种很受欢迎的估计方法，而本文介绍的模型平均方法，叫做加权平均最小二乘（WALS），它在理论上和实践中都优于贝叶斯模型平均估计（BMA）。　　本文先介绍了高斯线性模型和广义线性模型中的WALS估计方法。WALS估计方法是频率估计的贝叶斯结合：每个模型的参数是在频率观点下利用最小二乘估计，而权重组合是从贝叶斯的角度利用后验分布来反映每个模型中对先验分布和观测数据的置信度。第一，相比较BMA估计采用正态先验会导致无界风险，WALS估计中的先验选择在理论上考虑了可容许性，有界风险，稳健性，依据最小后悔值准则接近最优，以及对待先验中立。第二，WALS估计对回归量采用了半正交变换，可以在很短的计算时间内获得参数的精确的模型平均估计。　　本文还基于WALS估计方法进行了应用研究。首先是线性模型的实证数据分析，采用的数据集描述了美国棒球运动员的相关数据，研究该数据集中运动员薪水和运动员各种自身条件的关系，以此来构建回归模型，其中薪水为因变量，其他19个变量如失误次数，年龄，击球数目为自变量。并且比较了WALS估计和ridge（岭回归）和LASSO回归，得到在先验信息给出恰当的情况下，WALS估计的结果很接近LASSO回归的结果，甚至在某些先验信息不恰当的时候，WALS估计方法优于LASSO回归，说明WALS估计方法在实际生活中将会有很好的应用。　　在医学中有许多服从逻辑分布和泊松分布的数据，将WALS估计方法用于这些医学数据中可以帮助探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率。在逻辑回归实证数据分析中，采用的是冠心病的数据集，观测的15个特征具体分为3大类，一类是人群的固有属性，比如年龄，性别；一类是人群的生活行为习惯，如是否吸烟，吸烟量；最后一类就是医疗措施如：患者是否服用过高血压药物，是否高血压，是否糖尿病，是否中过风以及胆固醇水平，心脏收缩压，舒张压，体重指数，心率，葡萄糖水平。而逻辑回归的目标变量为是否十年内患冠心病。结果得到显著变量包括年龄，性别，每日吸烟量，胆固醇水平，血液收缩压，伸张压。在泊松回归实证数据分析中，采用Breslow数据集，该数据集是癫痫数据。数据集中一共有12个变量，结果显示为Trt（治疗条件），年龄，Base（前8周内发病次数）这3个自变量都对因变量sumY（8周后的发病次数）有显著性的影响。可以发现WALS估计方法在逻辑回归和泊松回归中都有非常好的表现。

目录

1 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 本文主要研究内容

1.3.1理论预备知识

1.3.2模型应用研究

1.4 本文结构安排

2 高斯线性模型中的 WALS 方法

2.1 正交化

2.2 约束最小二乘

2.3 等价性定理

2.4 拉普拉斯估计

2.5 WALS估计的实现

2.6 本章小结

3 广义线性模型中的 WALS 方法

3.1 广义线性模型介绍

3.2 极大似然估计

3.2.1一步极大似然估计

3.2.2一步极大似然估计的渐近性质

3.3 WALS估计

3.3.1尺度与半正交变换

3.3.2变换模型的一步极大似然估计

3.3.3等价性定理

3.3.4贝叶斯权重组合和先验的选择

3.3.5一步迭代WALS估计

3.3.6模型参数的光滑函数的估计

3.4本章小结

4 基于 WALS 估计方法的应用研究

4.1线性模型模拟数据分析

4.1.1线性模型模拟1

4.1.2线性模型模拟2

4.2线性模型实证数据分析

4.3广义线性模型实证数据分析

4.3.1逻辑回归实证数据分析

4.3.2泊松回归实证数据分析

4.4本章小结

5 结论与展望

参考文献

附 录

致谢

声明