基于支持向量机和模糊系统的机器学习方法及其应用研究

摘要

机器学习是现代智能技术中十分重要的一个方面，主要研究如何从观测数据出发得出目前尚不能通过原理分析得到的规律，利用这些规律去分析客观现象，对未来数据或无法观测的数据进行预测。简单地说就是用计算机来模拟人的学习能力，以达到自动获取知识的目的。有三类基本的机器学习问题，它们分别是模式识别、函数逼近以及概率密度估计。在过去十几年的时间里，基于支持向量机和模糊系统的机器学习方法及其应用得到了广泛研究和迅猛发展，并在信号处理、智能控制、模式识别、系统辨识、生物信息学、医疗和行为科学及商业等领域取得了丰硕的成果。
　　 本文针对基于支持向量机和模糊系统的机器学习方法中的几个问题进行了研究，包括支持向量机的学习速度、支持向量机的泛化能力、一型和二型模糊系统的可解释性以及一型和二型模糊系统跟概率理论和微积分理论的结合。本文的创造性研究成果主要有：
　　 (1)利用微分逼近理论提出了一种改进核函数的方法：将原来的核函数乘以一个融入数据信息的正定函数。改进后的核函数增大了分类间隔，改善了支持向量机的性能。实验结果表明改进后的核函数不但提高了分类精度，而且具有很少的支持向量，从而加快了学习速度。
　　 (2)利用再生核理论提出了一类新的核函数——再生核核函数。这类新核函数是再生核空间的再生核。由于再生核核函数兼具多项式核函数和高斯核函数的优点，所以它不仅具有良好的全局性质，而且还具有很强的内推能力。
　　 (3)利用超椭球面坐标变换公式构造出了一类核函数——同维映射超椭球坐标变换核。由于是同维映射，而且增大了分类间隔，所以支持向量机的性能得到了很大改善。对人工数据集和标准数据集的实验结果表明，使用坐标变换核的支持向量机学习速度快，推广能力强。
　　 (4) Epanechnikov混合模型和Mamdani-Larsen(abbr.ML)模糊系统之间的对应关系被建立：任何一个Epanechnikov混合模型都唯一对应着一个Mamdani-Larsen模糊系统，在一定条件下，Epanechnikov混合模型的条件均值和Mamdani-Larsen模糊模型的输出是等价的。因此可用概率的方法来设计Mamdani-Larsen模糊系统，如期望最大化算法等。将设计的模糊系统应用于时间序列预测，仿真结果表明：利用概率方法设计的Mamdani-Larsen模糊系统精度高，抗噪性强。
　　 (5)基于广义Epanechnikov混合模型提出了一种新的模糊系统——具有多维隶属度函数的规则中心化模糊系统。Epanechnikov混合模型的条件期望输出恰好是规则中心化模糊系统的去模糊化输出。因此可以从概率的角度解释模糊系统，反之亦然，即在概率和模糊之间搭建起了一座桥梁。模糊系统的规则后件恰好是其输出在规则中心的一阶Taylor级数展开式，所以模糊系统具有高度解释性且将模糊理论和微分理论相结合；采用的多维隶属度函数考虑了数据间的相关性，因此模糊系统更符合实际。将该系统应用于时间序列和动态系统预测，不但精度高、速度快，而且有很好的鲁棒性。
　　 (6)建立了不确定的高斯混合模型和具有可加性的二型Takagi-Sugeno-Kang(TSK)模糊系统之间的对应关系：任何一个不确定的高斯混合模型都唯一对应着一个二型模糊系统，不确定高斯混合模型的条件均值和二型模糊系统的去模糊化输出是等价的。因此可以从概率的角度解释、研究和训练二型模糊系统。这种新颖的训练方法提高了二型模糊系统的精度和抗噪性。不同类型数据的实验结果表明了该模型的优良性能。
　　 (7)针对模糊系统缺乏优化结构的辨识方法的问题，提出了一种新颖的基于再生核空间理论的模糊系统。该模糊系统的结构辨识算法由再生核函数的的逼近性质给出，简单易处理；并且参数学习只涉及前件的学习，降低了系统的复杂度。仿真结果验证了这种模糊系统及其结构辨识算法的有效性。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 课题背景

1.1.1 机器学习

1.1.2 支持向量机和模糊系统及其重要性

1.2 支持向量机和模糊系统中的一些问题

1.3 本文的工作

第二章 性能改进的支持向量机

2.1 国际国内研究现状

2.1.1 SVM的理论研究

2.1.2 支持向量机的训练算法

2.1.3 多类SVM

2.1.4 扩展支持向量机

2.1.5 SVM的模型选择

2.1.6 SVM的应用

2.2 使用超椭球参数化坐标的支持向量机

2.2.1 背景

2.2.2 Mercer核

2.2.3 超椭球支持向量机

2.2.4 仿真实验与分析

2.2.5 结论和进一步的工作

2.3 一类新的核函数

2.3.1 再生核与Hn(R)的定义

2.3.2 H1(R)的再生核

2.3.3 Hn(R)的再生核及允许支持向量机核函数

2.3.4 实验测试

2.3.5 结论和进一步的工作

2.4 一种改善核函数的方法

2.4.1 核函数的改进

2.4.2 仿真实验

2.4.3 结论和进一步的工作

第三章 基于Epanechnikov混合模型的一型模糊系统

3.1 一型模糊系统的国际国内研究现状

3.1.1 Mamdani-Larsen模糊系统

3.1.2 Takagi-Sugeno-Kang(TSK)模糊系统

3.1.3 分层模糊系统(Hierarchical Fuzzy syatem)

3.1.4 模糊神经网络(FNN,Fuzzy Neural Network)

3.2 基于Epanechnikov混合模型的Mamdani-Larsen模糊系统

3.2.1 背景

3.2.2 Epanechnikov混合模型(Epanechnikow Mixture Model, EMM)

3.2.3 多输入单输出Mamdani-Larsen Fuzzy Systems(MLFS)和多维EMM的关系

3.2.4 仿真实验

3.2.5 结论

3.3 基于Epanechnikov混合模型的中心化模糊系统

3.3.1 背景

3.3.2 规则中心化的广义模糊系统(RCGFS)

3.3.3 广义Epanechnikov混合模型(EMM)

3.3.4 二维EMM和单输入单输出的RCGFS的关系

3.3.5 多维EMM和多输入单输出的RCGFS的关系

3.3.6 EMM-RCGFS的优点

3.3.7 仿真实验与分析

3.3.8 结论

第四章 基于不确定高斯混合模型的二型TSK模糊系统

4.1 二型模糊系统的国际国内研究现状

4.2 基于不确定高斯混合模型的二型TSK模糊系统

4.2.1 背景

4.2.2 可加性TYPE-1 TSK模糊系统

4.2.2 可加性TYPE-2 TSK模糊系统

4.2.3 不确定的高斯混合模型UGMM

4.2.4 单输入单输出的区间T2-TSK-FS和2维UGMM的关系

4.2.5 多输入单输出的区间T2-TSK-FS和多维UGMM的关系

4.2.6 仿真实验与分析

4.2.7 结论

第五章 一种新颖的基于再生核理论的模糊系统

5.1 背景

5.2 再生核函数的性质

5.3 基于再生核理论的模糊系统

5.4 模糊系统的参数辨识

5.5 Lorenz混沌时间序列预测

5.6 结论

第六章 结束语

致谢

参考文献

附录：作者在攻读博士学位期间发表、录用及提交的论文