多元混合正态分布下对二型切片逆回归和切片平均方差充分降维方法的改进

摘要

含有高维自变量的回归或分类问题在当代应用中越来越普遍。从这些应用中出现的一个重要问题是如何避免过度平滑高维空间，这严重阻碍了统计推断的准确性。这种现象通常被称为维度诅咒(Bellman, 1961)，而充分降维估计方法，尤其是基于逆条件矩的那些方法可以很好地避免维度诅咒。 所以，充分降维是非参数回归领域中的一个重要的问题，其目的是对回归模型中自变量进行降维，主要手段是寻找原始自变量的少量线性组合，在回归中以这些线性组合去替代原始自变量而不损失信息。在各种充分降维理论中，切片平均方差估计法（SAVE）和第二型切片逆回归法（SIR-II）是备受关注的两种方法。这两种方法都能够避免切片逆回归(一种经典的充分降维方法)中存在的一个问题，那就是，在回归曲线具有某种对称性时，中心化逆回归曲线的退化问题。 作为处理偶回归函数充分降维问题而提出的方法，切片平均方差估计（SAVE）和第二型切片逆回归（SIR-II）在大部分情况下都是有效且便于使用的。在本文中，我们研究了SAVE和SIR-II是否适用于混合多元正态分布，如果不适用，如何对SAVE和SIR-II算法进行改进。模拟显示，当自变量向量服从混合正态分布时，上述两种方法通常不再适用。我们提出了一种新的算法用于SAVE和SIR-II的改进。最后我们通过模拟研究来评估所提出的方法在混合正态分布下的表现。

目录

声明

第一章 引言

第一节 研究背景

第二节 研究现状

第三节 本文研究内容和论文结构

第四节 本文研究方法和技术路线

第二章 切片平均方差估计和二型切片逆回归理论介绍

第一节 充分降维问题的基本概念

第二节 切片平均方差估计理论简介

第三节 二型切片逆回归理论简介

第三章 自变量服从多元混合正态分布时基于切片平均方差估计和二型切片逆回归的充分降维

第一节 改进的切片平均方差估计核心矩阵的设计

第二节 改进的切片平均方差估计核心矩阵的估计及算法步骤

第三节 改进的二型切片逆回归核心矩阵的设计

第四节 改进的二型切片逆回归核心矩阵的估计及算法步骤

第四章 模拟研究

第五章 结论

参考文献

附录

附录A 原始SAVE算法对混合多元正态分布的模拟

附录B 改进后的SAVE算法对混合多元正态的模拟

附录C 原始SIR-II算法对混合多元正态的模拟

附录D 改进后的SIR-II算法对混合多元正态的模拟

附录E 所有模拟结果

致谢