再论线性回归模型的最小二乘估计与线性方程组的解

摘要

当解释变量数目巨大,线性回归模型的最小二乘估计涉及大规模矩阵求逆运算,存在计算困难和误差累积等诸多问题。文章证明,通过适当的正交矩阵对原始样本点实施正交变换,可以将线性回归模型的最小二乘估计过程转化为具有递归形式线性方程组的求解过程,从而避免矩阵逆不存在导致最小二乘估计失效、大规模矩阵求逆运算的困难等,提高参数估计效率。通过算例,从数值模拟结果与几何意义两个方面,论述了回归模型的最小二乘估计与线性方程组的解之间内在联系。