基于支持向量机的概率密度估计及其在分布估计算法中的应用

摘要

概率密度的估计既是传统的概率论与数理统计的重点，也是统计学习理论的重要研究内容。概率密度的估计具有广泛的应用，它不仅是信息熵理论的基础，还可以应用到音频及视频信号的无损压缩中。但实际应用中，概率密度服从的分布通常是未知的。我们可以得到的数据是由这些未知分布产生的样本点，可以用这些样本点对实际的概率密度进行估计预测。对概率密度的估计一般分为参数估计和非参数估计。参数估计是在知道样本点服从的分布的前提下对密度中的未知参数进行估计，它的准确性对分布函数具有强烈依赖性。此外，参数估计还具有其他的一些局限性。例如对高斯分布可以很好的估计未知参数，但对混合高斯分布的密度就得不到很好的结果。基于支持向量机的概率密度不仅能够解决以往估计基于大数样本的问题，而且克服了参数估计的局限性。 本文在统计学习理论和支持向量机的基础上，对一维基于支持向量机的概率密度估计进行扩展并结合不敏感损失函数的方法，求得仿真效果较好的二维概率密度。此外，还讨论了高维密度的求解模型。然后针对现在的分布估计算法的概率密度大多是基于高斯模型，而实际应用中样本的概率密度可能是任意的情况，本文将支持向量机求解并仿真测试过的概率密度应用到分布估计算法中。在分布估计算法中与支持向量机求解的概率密度相对应，本文将舍选法的维数进行扩展，并针对求得的概率密度可能存在局部最优值，对舍选法的上界条件进行调整。最后将二维情况下的基于支持向量机的分布估计算法的测试结果与相同情况下的标准微粒群算法进行了比较。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 统计学习论与支持向量机发展

1.2 分布估计算法发展简史

1.3 支持向量机及分布估计算法的应用前景

1.4 本文主要的工作及安排

第二章 统计学习的基本理论

2.1 学习问题和学习方法

2.1.1 学习问题的基本定义和学习问题的表示

2.1.2 学习方法

2.1.3 VC理论

2.1.4 经验风险最小化和结构风险最小化

2.1.5 学习过程的一致性

2.2 核函数特征空间

2.2.1 特征空间中的学习

2.2.2 核函数的构造

2.2.3 核函数的性质

第三章 支持向量机的基本理论

3.1 支持向量机的定义

3.2 支持向量机分类问题

3.2.1 线性可分问题和线性不可分问题

3.2.2 近似线性可分问题

3.3 支持向量机回归估计问题

第四章 基于支持向量机的的密度估计方法

4.1 密度估计问题的表示

4.2 不适定问题

4.2.1 不适定问题的定义

4.2.2 解决不是定问题的方法

4.2.3 确定性不适定问题

4.2.4 随机不适定问题

4.3 基于支持向量机的概率密度求解

4.3.1 基于支持向量机的概率密度估计的模型描述

4.3.2 基于支持向量机的概率密度估计的求解算法

4.3.3 一维和二维密度仿真测试

4.3.4 高维模型描述

4.3.5 本章小结

第五章 基于支持向量机概率密度估计的分布估计算法

5.1 分布估计算法模型

5.2 数学采样方法

5.2.1 舍选法采样的基本原理

5.2.2 针对存在局部最优值的变形舍选法

5.2.3 针对本文概率密度估计的分布估计算法的方针测试

5.3 本章小结

第六章 总结与展望

参考文献

攻读硕士学位期间发表的论文

致谢