文本分类技术在数字图书馆中的应用与研究

摘要

分类作为人类认识世界的一种重要认知手段已经存在很长时间。计算机的问世与普及使用，使得分类成为计算机及相关领域的研究重点，特别是Internet出现以后，在线文本文档剧增，文本的分类就成为广泛关注和研究的关键技术之一。 文本分类的一个重要应用领域是数字图书馆。目前，数字图书馆正成为全球范围内信息基础设施建设的热点领域，是二十一世纪全球文化与科技竞争的焦点之一，而数字图书馆建设的基础是元数据的组织和建设。元数据是关于数据的结构化数据，为数字图书馆提供了一种精确描述数据内容、语义和服务的机制。 本文就文本分类及其在数字图书馆中的应用进行研究，主要涉及以下4个问题：训练文档的支持向量预抽取、文本特征评估、元数据自动抽取、知识本体元数据。 1.定义了凸包相对边界向量方法，获取凸包边界上的边界向量，然后依此边界向量为训练样本来求解支持向量，简化求解二次规划的运算量，从而有效提高支持向量机的训练速度。 2.定义了文本特征评估方法，找出类别的重要特征和噪音特征，然后根据分类结果评估测试样本和训练样本的质量，优化和扩充文本库，逐步提高学习样本的质量、扩大文本库的范围，并根据样本质量修改样本在分类模型中的权重，提高分类系统的性能及其对不断变化的外界的适应性。 3.定义了元数据的抽取策略与抽取规则。在信息抽取的研究领域，有两条主要的技术路线：基于规则的路线与基于统计模型的路线。基于规则的主要思路是通过分类文本的特征、结构等信息，寻找到一些用于抽取的规则。基于统计模型的基本思想是寻找一个合适的模型，通过改变模型的参数和训练样本集合来达到对应用领域的适应。 4.提出了数字图书馆元数据的知识本体。元数据提供数字图书馆的语义基础，使资源有了基本的微观结构，但是元数据并不能完全解决信息系统的语义异构问题，而本体能够对这些情况进行很好地描述，从而为信息的组织、管理以及检索、查询提供模型和方法。

目录

文摘

英文文摘

第一章 引言

1.1研究背景与意义

1.2数字图书馆概述

1.2.1数字图书馆的起源

1.2.2数字图书馆的特征

1.3数字图书馆的研究现状及发展

1.4数字图书馆文本资料的分类

1.5主要研究内容

1.6本文的组织

第二章 文本分类综述

2.1文本分类的定义

2.2文本分类的模型

2.3文本预处理

2.3.1文档表示模型

2.3.2特征提取

2.3.3特征空间降维

2.3.4降维策略

2.3.5降维方法总结

2.4分类算法

2.4.1朴素贝叶斯

2.4.2 kNN

2.4.3支持向量机

2.5分类质量性能评估

2.5.1查准率与查全率

2.5.2F1标准

2.6小结

第三章 自学习文本分类系统的设计与实现

3.1系统设计

3.1.1文档预处理模块

3.1.2训练分类器模块

3.1.3分类模块

3.2系统实现

3.2.1文档预处理模块实现

3.2.2训练分类器模块实现

3.2.3分类模块实现

3.3实验分析

3.4小结

第四章 数字图书馆文本文献元数据自动标注

4.1元数据

4.1.1元数据特点

4.1.2元数据结构

4.1.3 Dublin Core元数据

4.1.4论文文献元数据

4.2元数据抽取策略

4.3元数据抽取规则

4.3.1页眉信息抽取

4.3.2标题信息抽取

4.3.3作者信息抽取

4.3.4摘要信息抽取

4.3.5关键字信息抽取

4.3.6引文信息抽取

4.4论文文献元数据自动抽取

4.4.1元数据自动抽取实施

4.4.2元数据自动抽取实验评测

4.5小结

第五章 元数据管理

5.1本体的定义与内涵

5.1.1本体的概念

5.1.2本体的类型

5.2本体论的研究进展

5.2.1国外主要研究现状

5.2.2国内主要研究现状

5.2.3国内外重要的本体系统

5.3本体表示语言

5.3.1 RDF和RDF-S

5.3.2 DAML和OIL

5.3.3 OWL

5.4本体构建方法

5.4.1骨架法

5.4.2 IDEF5

5.4.3七步法

5.5元数据本体构建

5.5.1 Protégé

5.5.2构建元数据本体

5.6小结

第六章 总结与展望

6.1总结

6.2展望

致谢

附录A 中国国家图书馆分类法

附录B 攻读硕士学位期间发表论文列表

附录C 攻读硕士学位期间参加学术会议列表

参考文献