基于退火遗传算法的自适应网络信息过滤系统研究与实现

摘要

信息过滤是一种系统化方法，他能够自动的将网络上的动态信息流与用户需求进行匹配，从信息流中抽取出符合用户个性化需求的信息并送给用户。当前信息过滤技术主要研究网络信息的获取和表示、用户模板的构建和更新、待处理文档同用户模板的相似度计算等问题。 由于遗传算法应用于机器学习以及组合优化中有其他方法无法比拟的优点，因此本文从信息过滤准确率和速度两个主要指标为出发点，应用遗传算法构建了信息过滤用户兴趣模板，并针对模型构建过程中遗传算法早熟的缺点、匹配过程中整体匹配效率较低以及训练过程中用户兴趣模板和文档库的更新问题提出了一系列的改进措施，最终实现了基于上述改进方案的网络信息过滤系统。主要工作包括： 1.深入研究了网络信息过滤关键技术及相关过滤模型。探讨了信息过滤的一般模型及其相关算法，分析了现有的信息过滤模型中存在的问题，重点研究了网络信息过滤中的网络数据的获取和表示、特征权值的计算方法、文本信息的表示、分类算法以及匹配和反馈技术等。 2.将遗传算法应用到信息过滤中生成过滤模板。经过对传统文本分类技术的比较和研究，并且对于遗传算法优点及应用进行了充分分析，提出了基于遗传算法的文本分类及信息过滤模板构建方法，即文中所说的遗传训练。 在遗传训练中，应用符号编码和二进制编码相结合的方法解决了向量文本的处理问题，通过一系列改进的遗传操作并且引进向量之间的相似度作为适应度函数，经过一定代数的遗传操作形成了文本分类和信息过滤的模板，而由网络数据包捕获模块捕获的数据包在进行分词处理之后就与模板进行相似度的比较，从而考察获取的网络信息文本属于哪令类别，最终实现对网络信息分类的目的，也就实现了对网络信息的有效过滤。 3.建立了基于改进遗传算法的网络信息过滤模型。在充分分析遗传算法优点的基础上，将其引入到网络信息过滤中用于模板生成；针列遗传算法存在的局部最优的缺点，引入模拟退火操作对遗传算法从结构上进行调节和改进；针对遗传存在的参数固定、种群单一的缺点，引入了基于年龄的种群控制思想以及随代数变化的变交叉率和变异率。 4.引入了基于概念的逻辑段落划分方法。该方法建立在概念词典之上，通过分析待分类文本中所包含的逻辑概念，将待分类文本中表达相同意义的段落进行聚类分析，并建立以此逻辑层次划分方法为基础的逻辑段落概念，然后以该逻辑段落作为分类的依据，考虑不同的段落对于文本主题表示的贡献程度。同时，针对匹配过程中存在的多义词和同义词现象，引入同义词概念扩充和关联词语扩充。 5.提出了一种利用反馈文档动态修改类别模板方法。类别模板建立的好坏直接关系到信息过滤系统的优劣，并且分类体系有可能经常变更。而使用重新训练的方法耗时、费力，与反馈的初衷背道而驰，真正意义上的反馈应在已经产生的训练结果上进行调整，即是在过滤过程中自动实现过滤模板的调整。针对上述问题，课题研究过程中提出一种利用反馈文档动态修改类别模板的算法。 6.设计并实现了网络信息过滤系统NIFS。按照分块、分层次以及模块化设计思路，设计并实现了网络信息过滤系统。系统实现三级过滤机制，采用基于SPI的网络封包截获技术进行数据包的截获及重组提高了过滤的速度，利用退火遗传算法对训练样本进行学习生成用户模板，并利用反馈学习调整优化用户模板，采用段落化匹配方式提高匹配精度。

目录

文摘

英文文摘

声明

第一章概述

1.1课题研究背景和意义

1.1.1课题研究背景

1.1.2课题研究意义

1.2相关研究进展

1.2.1信息过滤发展

1.2.2目前信息过滤模型存在问题

1.2.3当前研究重点

1.3本文写作背景

1.4论文的创新点

1.5论文基本结构

第二章基于内容的网络信息过滤关键技术

2.1网络信息过滤一般模型

2.2网络数据的获取

2.3特征选择

2.3.1分词

2.3.2特征项抽取

2.3.3权值计算

2.4信息过滤文本表示

2.5学习算法

2.5.1常用学习算法

2.5.2常见算法中存在的缺点

2.6相关反馈

第三章基于退火遗传算法的网络信息过滤模型

3.1遗传算法基本原理

3.1.1基本原理及其主要应用

3.1.2遗传算法研究进展

3.1.3遗传算法主要优点

3.2基于遗传算法的信息过滤模型构建

3.2.1基本遗传优化

3.2.2模拟退火遗传算法

3.2.3遗传算法参数的动态调整

3.2.4遗传操作初始参数和终止条件设定

3.3网络信息过滤模板的自适应调整

3.3.1反馈的基本思想

3.3.2基于中心向量判定法的反馈算法

3.3.3反馈效果测试

3.4基于概念的段落化匹配

3.4.1基于语义特征的文本段落划分

3.4.2文本分类的段落化匹配实现

3.4.3效果分析实验

第四章网络信息过滤系统实现和结构

4.1系统总体设计

4.1.1设计目标

4.1.2系统逻辑结构

4.2系统模块设计与实现

4.2.1数据包截获及协议分析模块

4.2.2遗传算法训练

4.2.3系统过滤模块

4.2.4反馈学习模块

4.2.5系统管理模块

4.3系统主要界面

第五章总结与展望

5.1所做的主要研究工作

5.2研究展望

参考文献

已发表学术论文

参加的科研项目

致谢