高维惩罚分位数回归建模及其应用

摘要

当代一个最热门的问题就是数据爆炸，因为相较于观测值的个数而言，数据的维数越来越高，因此惩罚类方法正被用于解决这类问题。最小收缩和选择操作(Lasso)惩罚及其变形在这个领域得到了大量的运用。这类方法是基于普通最小二乘方法(OLS)，而最小二乘方法在有异常点的情形下无法给出完整的响应变量关系，特别是当我们关注响应变量分布的尾部特征的时候。分位数回归(QR)提供了一个新方法，可以给出响应变量分布的任意位置处协变量对于响应变量的影响。 本文讨论了在参数个数发散情况下结合分位数回归的惩罚变量选择方法。研究了在光滑截断绝对差(SCAD)惩罚下的估计的收敛速度。进一步，在一些正则条件下，在恰当选定调节参数的时候，建立了惩罚分位数回归估计的先知性质。此外，秩相关筛选方法(RCS)被用于研究超高维数据情况。 另外，将岭估计和SCAD惩罚结合起来处理高维数据中的共线性问题，因为这样的结构能够带来好的预测准确性。在参数个数发散的情况下，建立了稀疏分位数回归方法的相合性、渐近正态性和先知性，也给出了组合惩罚估计的收敛速度。 进一步，本文也研究了SCAD惩罚下超高维分位数回归的一步估计方法。在一些条件下验证了模型选择相合性。 通过模拟研究，说明所提方法给出了比标准分位数回归方法更高效的估计。在实际数据分析中，最小二乘估计和Lasso方法被用于选择影响绿豆种子产量的最重要特性并给出了预测模型。

目录

声明

摘要

CONTENTS

List of Figures

List of Tables

1 Introduction

1．1 Background

1．2 Variable selection for regression models

1．2．1 Traditional variable selection methodologies

1．2．2 Penalized variable selection methodologies

1．3 Fundamental research aspects

1．3．1 Parametric regression models

1．3．2 High dimensional models

1．3．3 Robust regression methods

1．3．4 Quantile regression methods

1．4 Computation and selection of tuning parameters

1．4．1 The computational algorithms

1．4．2 The selection of tuning parameters

1．5 Research outlines and notations

1．5．1 Outline of the thesis

1．5．2 Notations

2 SCAD-Penalized variable selection in high dimensional linear models

2．1 Introduction

2．2 The proposed estimator

2．3 Asymptotic properties

2．4 Computation

2．4．1 Estimation procedure

2．4．2 Ultra-high dimensional case

2．4．3 Tuning parameter

2．5 Numerical studies

2．5．1 Simulation studies

2．5．2 A real application

2．6 Summary

3 Combined-Penalized variable selection in high dimensional linear models

3．1 Introduction

3．2 Combined penalized quantile regression

3．2．1 Ridge-SCAD estimation and variable selection procedure

3．2．2 Asymptotic Properties

3．3 The proofs of theorems

3．4 Computation and selection of tuning parameters

3．5 Numerical studies

3．5．1 Simulation studies

3．5．2 A real application

3．6 Summary

4 One step penalized variable selection in ultra-high dimensional linear models

4．1 Introduction

4．2 The Proposed estimator

4．3 Assumptions of model selection consistency

4．4 Proof of theorem

4．5 Simulation studies

4．6 Summary

5 Application of penalized variable selection methods in agricultural research

5．1 Introduction

5．2 Materials and methods

5．3 Results and discussions

5．3．1 Residual analysis

5．3．2 Simple correlation analysis

5．3．3 Path coefficient analysis

5．3．4 Penalized regression analysis

5．4 Summary

6 Conclusions and further Perspectives

6．1 Key aspects of proposed research

6．2 Innovation Points

6．3 New horizons for explorers

References

Published Academic Papers During PhD Period

Acknowledgement

About the Author

Dalian University of Technology Doctoral Dissertation Copyright Use Authorization