基于自学习机制的信息过滤模型研究与实践

摘要

本文主要研究Internet上非法信息的过滤问题，内容涵盖了信息过滤的各个处理阶段，围绕信息过滤模型的过滤精度和过滤速度两个主要指标，在如下几个方面进行了研究和探讨：1.对现有的信息过滤模型以及机器学习在模型中的应用进行了深入分析；2.提出了基于统计的停用词表产生方法和基于遗传算法的特征提取优化算法；3.提出一个新的基于自学习机制的信息过滤模型；4.提出了分层、分级、分策略的信息过滤技术；5.基于新的过滤模型设计开发了一种新型的信息过滤系统。

目录

文摘

英文文摘

独创性声明和学位论文版权使用授权书

第一章绪论

1.1研究背景

1.2研究内容及现状

1.2.1信息过滤的发展历程

1.2.2信息过滤的研究内容及现状

1.3本文的内容及主要工作

第二章信息过滤模型及关键技术

2.1传统信息过滤模型

2.2文本预处理

2.3常用的文本表示模型

2.3.1布尔逻辑模型

2.3.2向量空间模型

2.3.3潜在语义索引模型

2.3.4概率模型

2.3.5小结

2.4特征提取

2.4.1空间降维

2.4.2特征提取

2.5文本分类

2.5.1文本分类过程

2.5.2文本分类算法

2.6传统的信息过滤模型存在的问题

2.7 小结

第三章基于自学习机制的信息过滤模型

3.1相关反馈(RF，Relevence Feedback)

3.2机器学习

3.2.1机器学习理论简介

3.2.2机器学习在信息过滤中的应用

3.3基于机器学习的信息过滤

3.3.1样本的组织

3.3.2分词的实施

3.3.3特征提取

3.3.4基于机器学习的非法文档模板的建立和更新

3.3.5基于BP神经网络的非法文本过滤

3.4基于自学习机制的信息过滤模型

3.5小结

第四章分层、分级、分策略的信息过滤系统

4.1分层、分级、分策略的信息过滤

4.1.1设计思想

4.1.2主要内容

4.2系统实现

4.2.1主要系统模块

4.2.2系统流程

4.2.3系统实现

4.2.4主要界面

4.3评价指标

4.4测试过程与结果

4.4小结

第五章结束语

5.1本文所做的主要工作

5.2进一步的工作

参考文献

致谢

发表及录用的论文

研究生期间参与的科研项目