基于双层规划的最小二乘支持矩阵机及其快速算法

摘要

本文首先分析并比较了八种最小二乘支持向量机(Least Squares Support Vector Machine, LSSVM)学习算法的优劣势,随后提出了基于双层规划的最小二乘支持矩阵机(Least Squares Support Matrix Machine Based on Bi-level Programming, BP-LSSMM)和基于双层规划的快速最小二乘支持矩阵机(Quickly Least Squares Support Matrix Machine Based on Bi-level Programming, Q-BP-LSSMM)。
　　本研究分为四个部分：第一章回顾了SVM、支持向量回归机(Support Vector Regression Machine, SVR)、孪生SVM(Twin SVM, TSVM)、支持矩阵机(Support Matrix Machine, SMM)等相关的预备知识。第二章介绍了八种LSSVM,并分析比较了它们的优劣势。第三章提出了BP-LSSMM,为了验证该模型的有效性。用数学软件做了一系列的实验,最终验证了该模型算法的有效性. BP-LSSMM有两方面的优势,一是对于矩阵形式的输入样本,不需要将其向量化,而是直接进行学习,这有效地避免了“维数灾难”.二是借助最小二乘SVM的快速学习优势,提高了所提算法的学习速度。第四章在BP-LSSMM的基础上,通过变更双层规划的上下层问题,提出了更快速的学习算法Q-BP-LSSMM,并通过实验验证了所提算法的有效性。

目录

声明

前言

第一章 预备知识

1.1 核函数

1.2 软间隔支持向量机 (C-SVM)

1.3 支持向量回归机 (SVR)

1.4 孪生支持向量机 (TSVM)

1.5 支持矩阵机(SMM)

第二章 基于最小二乘技巧的八种SVM算法及其优势比较

2.1 最小二乘型SVM算法

2.1.1 最小二乘SVM (LSSVM)

2.1.2 稀疏LSSVM (SP-LSSVM)

2.1.3有效稀疏LSSVM (ESP-LSSVM)

2.1.4 (有效稀疏)加权LSSVM(??WLSSVM)

2.2 最小二乘型TSVM算法

2.2.1 最小二乘TSVM (LSTSVM)

2.2.2 最小二乘孪生多类SVM (LS-TMSVM)

2. 2. 3 1-范数LSTSVM (ON-LSTSVM)

2.2.4 拉普拉斯LSTSVM (Lap-LSTSVM)

第三章 基于双层规划的LSSMM (BP-LSSMM)

3.1 BP-SMM模型

3.2 BP-LSSMM模型及算法

3.3 实验与结果分析

第四章 BP-LSSMM的快速求解方法

4.1 Q-BP-LSSMM模型

4.2 Q-BP-LSSMM与BP-LSSMM的比较

4.3实验与结果分析

参考文献

致谢

攻读硕士学位期间发表的学术论文