多元线性模型与岭回归分析

摘要

回归分析是统计学中的一个重要分支，它在工商管理、经济、社会、医学和生物科学等领域应用十分广泛。从十九世纪初Gauss提出最小二乘法算起，回归分析已经有180多年的历史，二十世纪初以来，更多的统计学者投入到这一领域，发表了一系列有关回归分析的理论和应用的论文，近三十年来，回归分析的研究已有了一系列较为成熟的结果。回归分析中，当自变量之间出现多重共线性现象时，回归系数的估计值将会不稳定，同时方差变大，这势必对问题的研究带来不利影响，因此消除多重共线性成为回归分析中参数估计的一个重要环节。消除多重共线性常用的参数改进方法有主成分回归和岭回归。本文简单介绍了主成分回归，阐述了主成分估计方法的原理和优缺点；重点是从不同的角度不同的思想出发，对最常见的岭回归估计法进行了深入的探讨：岭参数K的存在性，岭估计的优良性，岭参数K的选择方法等。自从1970年Hoerl和Kennard提出岭估计以来，岭回归估计法开始广泛应用于实际。本文以多元线性回归模型的典则形式为研究对象，从减小均方误差的角度出发，在一定的范围内分析了岭参数K的存在性和岭估计的优良性。岭参数K的确定依赖于未知参数，但是若只凭样本推断，就会使大量的经验和信息作用无从发挥。岭迹法确定Ｋ值存在着一定的人为主观因素，这种人为性正好让作者将定性分析和定量分析结合起来，改进了Hoerl和Kennard的方法。本文通过分析均方误差函数的单调性，将K的范围缩小到一个相对较小的区间。关于Ｋ值的逼近，怎样才能达到极值点，尚需进一步研究。文章最后进行了总结，并提出了有待进一步解决的问题。