线性回归模型的二阶最小二乘估计

摘要

线性模型在数理统计学的理论和应用中都占据十分重要的地位，越来越多的研究领域都涉及到线性模型的参数估计问题。国内外的学者已经做了大量的研究，提出了多种估计方法，常用的有最小二乘估计法、岭估计法、主成分估计法和广义压缩最小二乘估计法等。本文主要研究一种新的参数估计方法——二阶最小二乘估计法——在线性回归模型中的应用。二阶最小二乘估计法的主要思想是极小化响应变量及响应变量的平方分别与响应变量的一阶条件矩和二阶条件矩的差的平方和得到估计值。本文主要考察具有非对称分布误差变量的线性模型的二阶最小二乘估计，并且证明出统计性质，例如收敛性和渐近正态性。除此之外，还证明了当误差变量的三阶矩非零时，二阶最小二乘估计是渐近优于一般最小二乘估计的，并且当误差变量为对称的分布时，二者具有相同的渐近协方差矩阵。最重要的是，我们可以在不完全知道误差变量分布的情形下，求得线性模型的参数估计。最后通过数值模拟试验，比较不同样本数情况下，线性回归模型未知参数的最小二乘估计和二阶最小二乘估计的方差和均方误差。结果发现，当样本数小于50时，回归系数与误差变量方差的二阶最小二乘估计优于一般最小二乘估计，这也说明了当样本数较少时，二阶最小二乘估计法能够充分利用数据中的信息来改良最小二乘估计法。

目录

声明

致谢

摘要

第1章 绪论

1．1 引言

1．2 线性回归模型

1．3 常用的参数估计法介绍

1．3．1 最小二乘估计

1．3．2 岭估计

1．3．3 主成分估计

1．3．4 广义压缩最小二乘估计

1．4 估计量的评价方法

第2章 线性回归模型的二阶最小二乘估计

2．1 二阶最小二乘估计定义方法

2．2 统计性质证明

2．2．1 预备知识

2．2．2 收敛性

2．2．3 渐近正态性

2．3 二阶最小二乘估计的优良性

第3章 二阶最小二乘估计与最小二乘估计的数值试验比较

3．1 数值试验

3．2 数值试验结果分析

第4章 结论

参考文献

作者简历

学位论文数据集