数字图书馆中信息过滤技术研究

摘要

自1990年以来，数字图书馆从少数空想家的个人兴趣演变成为声势浩大的实际行动，使得数字图书馆正成为传统图书馆和传统出版业的竞争对手。但同时因为数字图书馆是以数字化网络化信息资源为依托的，这就使得在复杂的网络信息资源下数字图书馆的用户要面对信息杂乱的严峻挑战。当数字图书馆的信息服务面临巨大信息“噪音”的干扰时，它就必须尽快采用先进的信息技术以解决信息时代所面临的这种尴尬局面。网络信息过滤，就是根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用的信息的过程。数字图书馆上的技术应用使得信息过滤成为改善数字图书馆服务效果的强有力的核心技术之一。 本文在对遗传算法的研究基础上，利用高校数字图书馆平台，就信息过滤系统在数字图书馆的应用上进行了全面的研究。本文研究的主要内容有： 1、信息过滤中使用的遗传算法的改进 介绍了信息过滤技术和遗传算法，对遗传算法的缺点提出了从编码和选择操作、交叉操作和变异操作的改进方案，在提出的遗传算法改进方案的基础上，对遗传算法的种群扩展和遗传操作参数的设定以及中止条件进行了研究。 2、基于改进遗传算法的信息过滤系统的实现及系统训练 在改进的遗传算法的基础上建立和实现了一个数字图书馆信息过滤系统。文中首先提出了系统的总体架构，并根据架构设计出了信息过滤模块并画出了系统流程图；其次生成了模板，并对模板信息进行了构造及匹配；然后针对实现的系统进行了训练，并根据F1测试值、准确率和查全率作为评估指标，以过滤常用语料库作为过滤标准，从运行改进分类算法、改进特征选择方法、系统分块过滤、遗传训练参数设定和过滤阈值设置五个方面进行测试训练。最后根据系统训练的结果总结经验，并对下一步的工作提出了努力的方向。

目录

文摘

英文文摘

声明

第1章引言

1.1概述

1.2信息过滤研究现状

1.2.1国内外相关研究

1.2.2网络信息检索技术

1.2.3文本信息过滤技术

1.2.4信息过滤技术研究在数字图书馆中的意义

1.3论文的主要研究内容及章节安排

第2章信息过滤技术

2.1信息过滤技术概述及特点

2.2信息过滤模型

2.3文本表示模型

2.3.1布尔逻辑模型

2.3.2向量空间模型

2.3.3概率推理模型

2.3.4潜在语义索引模型

2.4分词与特征选择

2.4.1分词技术

2.4.2特征选择

2.5文本分类

2.5.1 Racchio方法

2.5.2 KNN方法

2.5.3 Naive Bayesian方法

2.5.4支持向量机

2.5.5决策树方法

第3章遗传算法

3.1遗传算法的概述及特点

3.1.1遗传算法的基本定义

3.1.2遗传算法的基本操作

3.1.3遗传算法的主要特点

3.2遗传算法的原理

3.2.1遗传算法简介

3.2.2遗传算法的编码方式

3.2.3选择操作

3.2.4交叉操作

3.2.5变异操作

3.3遗传算法的优缺点

3.3.1遗传算法的优点

3.3.2遗传算法的缺点

第4章改进遗传算法在信息过滤系统中的应用研究

4.1编码以及初始种群的产生

4.1.1编码方式

4.1.2初始种群

4.1.3解码

4.2适应度函数选择

4.3选择

4.3.1传统遗传选择方法的缺点

4.3.2改进的轮盘赌选择方法

4.4交叉

4.4.1单点交叉优点

4.4.2传统单点交叉存在的不足

4.4.3应用于分类中系统中的改进交叉操作

4.5变异

4.5.1传统均匀变异及其改进

4.5.2自适应变异概率的实施

4.6种群扩展

4.7遗传操作参数的设定以及终止条件

4.7.1遗传操作参数的设定

4.7.2中止条件

4.8其他操作

4.8.1中断遗传

4.8.2增量遗传

第5章数字图书馆信息过滤系统的实现

5.1数字图书馆信息过滤系统的结构

5.1.1信息过滤系统的框架结构

5.1.2过滤模块介绍

5.2系统流程图

5.3模板的生成和匹配

5.3.1模板的生成

5.3.2模板信息的构造及匹配

5.4系统的训练

5.5实验分析

5.5.1评估指标

5.5.2过滤常用语料库

5.5_3结果及分析

第6章结论与展望

6.1结论

6.2进一步工作的方向

致谢

参考文献

个人简历 在读期间发表的学术论文与研究成果