学习理论中的加权回归学习算法

摘要

学习理论作为逼近论和概率统计理论等的交叉学科，主要研究学习问题。学习问题就是利用样本数据从给定函数集寻找待求的函数依赖关系的问题。其核心问题之一是分析处理学习问题的各种算法（或方法）的泛化性能，其中加权回归学习算法是处理该问题的常用方法之一。加权回归学习算法，即寻求使得加权误差平方和最小的回归函数的估计子。
　　移动最小二乘（MLS）法是用于数值分析、统计学、数据光滑及其他领域的一种逼近方法。其优点是有很好的数学理论支持，因为基于最小二乘法，所以数值精度较高。对于每个固定的点，移动最小二乘法即为通常的最小二乘法。周定轩等已用该方法研究了学习理论中的回归问题。
　　本文用实分析、调和分析、泛函分析、逼近论等理论研究了学习理论中的加权回归学习算法。首先，将移动最小二乘（MLS）法推广到移动最小p乘（MLP）法，得到Lp(1≤p≤∞)框架下学习理论中加权回归问题的一些结果，从而为研究Lp(1≤p≤∞)框架下学习算法的泛化性能提供了理论基础。其次，估计了加权多元回归问题学习算法的收敛速度的上界，当赋予回归函数一定光滑性条件时，得到了较好的收敛阶。该结果对研究多元加权回归学习算法的稳定性、收敛性及复杂性等有着重要意义。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 学习问题研究的四个阶段

1.2 基本概念及记号

1.3 本论文的主要工作及内容安排

2 学习理论中基于

2.1 MLP 方法及预备知识

2.2 MLP 方法下的加权回归学习算法的估计

2.3 基于 MLP 方法的进一步讨论

3 多元加权回归学习算法的范化性能的估计

3.1 多元加权回归学习算法及基本概念

3.2 多元加权回归学习算法熟练速度的上界估计

结 论

参考文献

攻读硕士学位期间发表的论文及科研成果

致谢