双阈值控制的字符串核SVM研究

摘要

支持向量机(SVM)是在统计学习理论(SLT)的基础上发展起来的一种机器学习方法。它建立在结构风险最小原则(SRM)之上，能有效避免过学习、维数灾难、产生局部极小点等问题，在小样本条件下仍具有良好的推广能力。 本文旨在对序列最小优化算法(SMO)进行改进，并构造一个字符串核SVM。论文对SMO算法进行详细的分析，指出当所有训练样本都在边界，阈值无法确定时，使用取上下界均值方法带来的优化效率下降问题。针对这个问题，本文提出使用双阈值控制的方法，将KKT条件进行推导转化形成新的优化判断条件，避免了不正确的阈值更新引起的冗余计算。然后本文讨论了结构化数据向量转化中的信息丢失问题，引入结构化核函数的概念。并根据字符串结构特征，构造了一个有限字符串结构核函数，准确地描述了字符串的相似度。并将其应用于字符串样本训练，形成基于字符串核的支持向量机(SSVM)，从而将SVM适用范围拓展到结构化数据。实验证明，双阈值SMO算法比SMO算法效率更高，SSVM在字符串分类中能达到较好的效果。 最后，本文在LIBSVM基础上开发了一个双阈值控制的SSVM模拟系统。

目录

文摘

英文文摘

声明

第一章 绪论

1.1研究背景

1.2本文工作

1.3论文结构概述

第二章 统计学习与支持向量机

2.1统计学习理论

2.1.1 VC维

2.1.2学习过程的一致性

2.1.3结构风险最小原则

2.2核函数

2.2.1核函数的定义和性质

2.2.2核函数的构造方法

2.3支持向量机

2.3.1 SVM模型

2.3.2训练算法

第三章 双阈值控制的字符串核SVM方法设计

3.1 SMO算法分析

3.1.1 SMO的KKT优化条件

3.1.2二次规划

3.1.3变量更新

3.3.4优化变量的选择及算法步骤

3.2对SMO算法的改进

3.2.1 SMO阈值更新中的问题

3.2.2双阈值SMO算法

3.2.3双阈值SMO算法试验分析

3.3基于字符串核函数的SVM(SSVM)

3.3.1结构化核函数的意义

3.3.2字符串核函数的构造方法

3.3.3构造一个有限字符串核函数

3.3.4 SSVM方法试验分析

第四章 双阈值控制的SSVM模拟系统的实现

4.1系统设计目的

4.2系统模块设计

4.2.1预处理模块

4.2.2核函数模块

4.2.3训练模块

4.2.4预测模块

4.3系统实现

4.4系统测试

4.4.1二维Iris数据集

4.4.2三维Iris数据集

4.4.3 Australian数据集

第五章 总结与展望

参考文献

致谢