基于数据的学习：埃尔米特算法与黎曼流形上的法向量估计

摘要

在本文中，我们主要研究学习理论中关于回归，流形学习和数据分析的一些算法。我们将详细地讨论这些算法的设计，并从逼近论的观点讨论其渐近性质。
　　 论文的第一部分，在再生核Hilbert空间中最小二乘回归正则化算法的框架下，我们研究了基于梯度样本数据的学习问题。在表示定理的帮助下，算法的求解归结为求解一个线性方程组，系数矩阵中涉及核函数值的Gramian矩阵以及核函数偏导数值的Hessian矩阵。额外的关于梯度的样本值可以提高算法的学习性能。通过运用采样算子分析样本误差和Sobolev空间中的积分算子分析逼近误差，我们给出该算法的误差分析。
　　 法向量估计是处理点云数据以及计算机图形学中曲面重构的重要研究课题。在论文的第二部分，我们考虑欧式空间中余维为1的子流形上的法向量估计问题。由于流形是未知的，我们要利用在流形上随机采样得到的样本点来估计法向量。我们提出了一种由核函数构造的学习算法，它实际上是无监督形式的梯度学习。算法的求解归结为求解一个线性代数的特征向量问题。在真实的法向量和采样分布满足一定的条件时，我们得到了关于该算法的误差估计。
　　 在论文的最后一部分，我们主要讨论样本依赖假设空间中的正则化回归问题。对于给定的一组样本数据，样本依赖假设空间中的函数定义为由核函数和样本数据产生的一族基函数的线性组合，因此空间中的函数完全取决于其线性组合的系数。这种核函数构造的假设空间其依赖样本的特质给学习算法带来很大的灵活性和自适应性。在这种空间里讨论的正则化算法与传统的再生核Hilbert空间中的算法有本质的不同：我们所考虑的核函数不是对称的，从而不具有半正定性，正则化子作为作用在该空间中函数上的泛函，被取为其相应的组合系数的(e)p范数的p次幂。这种不同增加了误差分析的困难。
　　 具体来说，我们主要在本文中研究了两种情况：p=1和p=2。当p=1时，(e)1正则化子经常会使解向量具有稀疏性，从而极大提高算法运行的效率。当p=2时，相应的算法是线性的并且可以通过一个线性方程组来求解。这两种算法都已经被一些文献研究过。在本文中，我们利用关于(e)2经验覆盖数的中心极限定理得到了学习算法目前为止最好的收敛阶。因为我们的目的是给出一种容量相关的分析方法，对于在误差分析中出现的由非对称核函数构造的函数空间，我们给出了其中的单位闭球关于(e)2经验覆盖数的性质，这在我们的分析中起了十分关键的作用。

目录

文摘

英文文摘

声明

第1章引言

1.1经典的统计学习理论

1.2监督学习的数学框架

1.3经验风险最小化

1.4正则化

1.5再生核Hi1bert空间

1.6积分算子和特征映射

1.7指数型概率不等式

1.8覆盖数

1.9论文概述

第2章学习理论的相关研究课题

2.1回归分析

2.2分类问题

2.2.1利用支持向量机进行分类

2.2.2 RKHS中的正则化分类算法

2.3聚类问题

2.4变量和特征选择

2.5流形学习

第3章基于梯度数据的埃尔米特学习

3.1 埃尔米特学习的数学框架和主要结果

3.1.1表示定理

3.1.2关于完美测度的收敛阶

3.1.3与经典的最小二乘正则化算法的比较

3.2表示定理和采样算子

3.3关于埃尔米特学习的误差分析

3.3.1逼近误差

3.3.2一个新的Mercer定理

3.3.3样本误差

3.3.4推导总的误差界

第4章基于梯度学习的流形上的法向量估计

4.1关于法向量估计的主要结果

4.2利用线性代数求解算法

4.3 由泛化误差来衡量法向量估计算法的性能

4.3.1指数映射和法坐标

4.3.2主要分析

4.4误差分解和假设误差

4.5估计样本误差与假设误差

第5章e1正则化学习算法的收敛估计

5.1关于e1正则化学习算法的介绍

5.2e2经验覆盖数的上界

5.3收敛估计的关键分析

5.3.1 回顾误差分解技巧

5.3.2 已知的关于逼近误差和假设误差的结果

5.3.3关键误差分析结果的阐述

5.4对样本误差的估计

5.5利用迭代来改进估计上界

5.6主要收敛结果的证明

第6章基于e2正则化子的核回归算法的收敛性分析

6.1基于样本依赖假设空间的e2正则化算法

6.2关于e2正则化子学习算法的关键分析

6.2.1误差分解

6.2.2假设空间的容量和主要结果

6.3估计逼近误差

6.4估计正则项误差及假设误差

6.5估计样本误差

6.6估计总误差界

6.6.1推导关于总误差的估计量

6.6.2利用迭代的方法改进估计量

6.6.3导出收敛阶

第7章讨论及进一步的工作

7.1算子LK和L的值域

7.2基于ep正则化子的核回归算法

参考文献

致谢

攻读博士学位期间发表的学术论文