基于支持向量机的多类模式识别模型

摘要

支持向量机分类理论是针对两类问题提出的，如何有效地将其推广到多类是一个尚未完全解决的问题。目前解决多类问题的途径主要有两种：一种是在经典支持向量机分类理论的基础上，直接构造支持向量多值分类模型；另一种是利用将两类问题扩展到多类问题的策略，将多类问题逐步转化为两类问题。论文是在经典支持向量机分类理论的基础上，利用将两类问题转化为多类问题的方法，针对实际多分类问题样本数据的特点，对已有多分类模式识别模型进行改进和扩展。主要的研究成果有： ①针对“一对一”的二叉树多类模式识别模型的主要缺陷和分类模式特征变量多的问题，运用多重判别分析方法对特征变量进行特征提取和压缩，结合多类模式识别规则，建立基于多重判别分析的支持向量机多类模式识别模型。该模型不仅充分利用了训练样本的类内与类间信息，一定程度上提高了分类器的识别准确率，并且起到了降维作用。随后通过数据实验验证了该模型的可行性和有效性。 ②从分类问题原始数据获取的途径出发，用于分类的一些训练数据获取困难，即在建立分类模型时，有时会出现少数类别没有相应的训练样本。在经典支持向量机分类理论的基础上，将原来分类函数的输出定义为三种不同的输出，运用多类模式识别模型的分类决策思想，建立了动态多分类识别模型。该模型不仅可以有效地解决拒分问题，而且可以识别一些新类别样本，并充分利用获得的新样本信息，修正模式识别模型，实现了动态分类。随后通过数据实验验证了该模型的可行性和有效性。 ③在现实生活中，噪声污染使样本对分类超平面的贡献不一样，特别对于某些问题，样本不能明确地归为某一类，所以在研究分类时，不能只考虑两个极端情况，属于某一类的概率是1，或者不属于某一类的概率为1。对这种不确定性分类问题，用贝叶斯后验概率作为样本的类别标签，在后验概率支持向量机分类理论的基础上，利用“一对一”分类理论的分类思想，建立了基于后验概率矩阵的多类模式识别模型。该模型为不确定性多类问题提供了一个有效解决方法，分类性能有了较大提高。随后通过数据实验验证了该模型的可行性和有效性。 上述三种支持向量机的多类模型构建主要运用了模型的集成思想，基于度量级的分类模型的建立是今后的发展方向。

目录

文摘

英文文摘

声明

1绪论

1.1研究背景及研究意义

1.1.1研究背景

1.1.2研究意义

1.2模式识别

1.2.1统计模式识别的主要组成部分

1.2.2统计模式识别问题的主要研究方法

1.3国内外研究现状

1.3.1贝叶斯学习理论

1.3.2分类器集成学习

1.3.3基于支持向量机的模式识别

1.4研究内容及研究思路

1.5论文的主要研究工作

2相关的基础理论

2.1支持向量机概述

2.2支持向量机基本理论

2.2.1基本概念

2.2.2基本原理

2.2.3基本分类理论

2.3基于支持向量机的多类模式识别模型

2.3.1“一对多”多分类算法

2.3.2“一对一”多分类算法

2.4本章小结

3基于SVM的多类模式识别模型

3.1引言

3.2基于“一对一”的二叉树多类模式识别模型

3.2.1多类模式识别模型的数学描述

3.2.2模型介绍

3.2.3模型分析

3.3基于多重判别分析的SVM多类模式识别模型

3.3.1问题的数学描述

3.3.2基本原理

3.3.3模型建立

3.3.4模型的算法及计算流程

3.3.5模型验证

3.3.6结论

3.4动态多分类模式识别模型

3.4.1问题的数学描述

3.4.2基本原理

3.4.3动态多分类模式识别模型

3.4.4计算流程图

3.4.5模型验证

3.4.6结论

3.5本章小结

4基于后验概率SVM的不确定性多类模式识别模型

4.1引言

4.2后验概率支持向量机

4.2.1不确定性模式识别问题

4.2.2最优超平面

4.2.3广义最优超平面

4.2.4后验概率支持向量机

4.3基于后验概率支持向量机的不确定性多类模式识别

4.3.1多类模式识别问题的数学描述

4.3.2基于“后验概率矩阵”的多类模式识别模型

4.4确定样本点后验概率的经验性方法

4.5模型验证

4.6本章小结

5分类模型的集成系统研究

5.1分类模型输出信息

5.2分类模型集成类型

5.2.1级联分类模型

5.2.2并联分类模型

5.3基于投票规则的集成

5.3.1基于投票规则的集成建模

5.3.2对投票规则的分析

5.4基于贝叶斯理论的集成

5.4.1 混淆矩阵、先验知识和置信度

5.4.2基于贝叶斯理论的集成建模

5.4.3对基于贝叶斯理论的集成分析

5.5对分类模型集成的进一步讨论

6结论与展望

致谢

参考文献

附录