基于多类支持向量机的文本分类研究

摘要

随着信息时代的高速发展，如何对已有大量自然语言文本进行挖掘，特别是对其按照设定的语义进行正确的归类，已经成为组织大量文本信息的一个关键问题，这就是文本挖掘中很重要的一类任务．文本分类。支持向量机是由Vapnik等人提出的一种学习技术，是借助于最优化方法解决机器学习问题的新工具。它集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。由于其具有全局最优、结构简单、推广能力强等优点，近几年得到了广泛地研究并应用于文本分类、模式识别等领域。但支持向量机最初是针对二类分类提出的，如何将其扩展到多类并应用于文本分类是本文研究的重要内容。 本文在对文本挖掘问题进行阐述的基础上，对支持向量机多类分类算法进行了深入的研究，在考察现有多分类SVM算法后，提出了一种基于二叉树基础的多类SVM改进算法，并把改进后的多类SVM用于文本挖掘中的文本分类。己经进行的主要研究工作如下： ①研究了文本挖掘的常见技术，并以文本分类为主要任务，阐述了常用的文本分类算法。接下来对支持向量机原理进行了阐述，并对其应用于分类挖掘时的问题及解决方法做了简要分析。 ②支持向量机多类分类算法的研究，分析比较了目前存在的基于支持向量机的多类别分类方法，包括“一对多”方法、“一对一”方法、一次性求解方法、决策有向无环图方法、基于二叉树的支持向量机多类分类方法等，比较了它们的优缺点及性能。 ③重点研究了基于二叉树的多类SVM分类算法，详细地讨论了目前存在的几种二叉树多类SVM算法组合策略，在训练时间、决策方案等方面作了对比，并提出了一种基于二叉树多分类SVM树结构的改进策略，在研究过程中，通过数值实验对改进后的二叉树多类SVM与几种常见的多类SVM算法的分类效果进行了比较。 ④研究了基于二叉树多类SVM改进的文本分类器设计，针对传统二分类SVM文本分类器及多类SVM文本分类器的缺陷，利用本文中改进的多类SVM分类算法作为文本分类器核心算法，并在多类文本分类实验中进行验证。

目录

文摘

英文文摘

声明

1绪论

1.1引言

1.2选题背景及课题意义

1.2.1选题背景

1.2.2课题意义

1.3国内外研究现状

1.3.1支持向量机研究进展

1.3.2文本挖掘研究进展

1.4论文研究思路及内容

2文本挖掘技术

2.1数据挖掘

2.1.1数据挖掘介绍

2.1.2数据挖掘任务及方法

2.2文本挖掘概述

2.2.1文本挖掘概念

2.2.2文本挖掘过程

2.3文本预处理

2.3.1特征抽取

2.3.2特征选择

2.3.3文本向量表示

2.4文本挖掘关键技术

2.4.1文本分类

2.4.2文本聚类

2.4.3文本关联分析

2.5文本分类

2.5.1文本分类描述

2.5.2文本分类任务

2.6本章小结

3支持向量机数据挖掘方法

3.1分类数据挖掘

3.2支持向量机

3.2.1统计学习理论

3.2.2支持向量机概述

3.2.3支持向量机原理

3.2.4模型选择

3.2.5优缺点

3.3支持向量机应用于分类挖掘

3.3.1支持向量机用于分类挖掘

3.3.2挖掘应用中的主要问题及解决方法

3.4本章小结

4一种改进的多分类支持向量机

4.1现有多分类支持向量机

4.1.1多类支持向量机组合策略

4.1.2常用多类SVM分析比较

4.2本文中要解决的问题

4.2.1基于二叉树的多类支持向量机原理及算法描述

4.2.2存在的问题

4.3二叉树多类支持向量机改进

4.3.1几种改进策略

4.3.2本文提出的基于二叉树改进原理

4.3.3算法设计及分析

4.4本章小结

5多类支持向量机文本分类器设计及实现

5.1文本分类过程及常见方法

5.1.1 KNN

5.1.2NATIVEBAYES

5.1.3 ROCCHIO

5.1.4 SVM

5.2基于多类支持向量机的文本分类器设计

5.2.1传统SVM文本分类器

5.2.2两类问题改进思想简要介绍

5.2.3多分类问题改进思想

5.2.4分类器评价

5.3实验环境

5.3.1技术及实验平台实现

5.3.2系统核心LIBSVM实现简介

5.4实验及结果分析

5.4.1多分类SVM数值实验及结果分析

5.4.2多类SVM文本分类实验及结果分析

5.5实时环境中的应用展望及问题

5.6本章小结

6结束语及展望

致 谢

参考文献

附 录