基于潜在语义索引和VAR-Tree的文本分类研究

摘要

当前,在以互联网为代表的信息技术广泛普及的基础上,移动互联网、云计算等新兴信息技术快速发展,人们通过微博、社交网络等各种信息媒介相互交流。方便了人们生活工作学习的同时,大规模海量真实信息的爆炸式出现,如何从海量信息中准确并且高效地获取有用信息已经成为一个具有非常重要现实和理论意义的研究课题。文本自动分类作为处理和组织大量文本数据的基础技术应运而生。文本自动分类简称文本分类(Text Categorization,TC)作为信息检索和数据挖掘的基础技术和研究热点,从上个世纪50年代末至今,得到广泛关注并已取得长足发展。广泛应用于垃圾邮件过滤、网络内容管理、本体映射、电话会议等各个方面。
　　本文详细阐述中文文本分类及相关技术理论包括:文本预处理、文本表示、特征选择、特征权重计算、分类效果的评价指标、文本分类算法。然后对向量空间模型(Vector Space Model,VSM)和传统K‐最近邻(K‐Nearest Neighbor,KNN)分类算法进行优缺点分析,并在分析结果基础之上做出改进。主要做了如下研究工作:
　　首先,针对传统向量空间模型忽略语义信息的缺点,以潜在语义索引/奇异值分解(Latent Semantic Indexing/Singular Value Decomposition,LSI/SVD)为技术手段,对传统向量空间模型加以改进和扩展。在训练文本集的词‐文本矩阵基础上进行奇异值分解,构建出语义空间代替原来基于特征项(关键词)的向量空间。在保留向量空间模型直观表示和便于计算的优势同时,LSI模型一方面可以消除同义词和多义词带来的不利影响,提取出文本潜在语义信息并突显出这一特点,更加准确地描述文本;另一方面可以排除大量无用的、干扰分类的“维数噪声”。有效地提高了文本分类的精确度。实验表明:基于LSI的分类算法比基于VSM的分类算法在准确率方面有所提高。
　　其次,运用高维数据索引结构VAR‐Tree改进传统KNN算法效率低下这一局限性。传统KNN算法忽视训练阶段,放弃训练规则,只是简单地把训练样本存储起来;当待分类文本进行测试时,将其与所有的训练样本一一计算相似度,进行分类判别,时间复杂度太高,导致算法效率低下。针对训练样本具有同类聚集、异类分散的大体分布特点,运用VAR‐Tree对训练样本进行整理划分排序,改进的KNN算法在测试阶段只需要在VAR‐Tree中搜索K个最近邻,而不必与训练样本一一计算。在减少文本查询量的同时提高查询速度,从而提高算法效率。实验结果证明:在不降低原有分类准确率的前提下,改进算法在效率方面有明显的提高。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1课题的背景和意义

1.2国内外研究现状

1.3 本文所做工作

1.4本文的结构

第二章 文本分类相关理论及技术

2.1中文文本分类概述

2.2文本预处理

2.3中文分词

2.4特征选择

2.5特征权重计算

2.6文本表示模型

2.7文本相似度计算

2.8 常见文本分类算法

2.9文本分类评价标准

第三章 运用LSI改进传统向量空间模型

3.1向量空间模型优缺点

3.2改进思路

3.3 潜在语义索引介绍

3.4 LSI模型下算法具体步骤

3.5实验结果及分析

第四章 改进的KNN算法

4.1传统KNN算法分析

4.2用VAR-Tree改进KNN算法

4.3实验结果和分析

第五章 总结与展望

5.1工作总结

5.2进一步展望

参考文献

个人简历

致谢