基于层次分类的网络内容监管系统中串匹配算法的设计与实现

摘要

互联网上的反动、暴力、淫秽等非法信息使得网络内容监管日益重要.该文在对网络内容监管方面的研究现状进行分析后,采用一种层次分类的方法,即在信息识别过程中,先将网络信息进行关键字过滤,然后再将含指定关键字的信息内容传送给语义分析模块进行处理,从而减轻语义分析的压力,提高系统效率,并且适合于非法信息多变的特点.关键字过滤通过串匹配算法实现,并且已成为系统性能的瓶颈.为此,该文分析了现有串匹配算法(包括单模式串匹配算法和多模式串匹配算法)的特点,设计并实现了一种适合于中文大字符集和网络内容监管的串匹配算法:基于QS算法的单模式串匹配算法(IQS算法)和基于Wu-Manber算法的多模式串匹配算法(IWM算法).IQS算法主要用于工作人员的日后查阅,而IWM算法主要用于网络信息过滤.并且在中、英文两种环境下以及模式串的不同长度和个数情况下对IQS算法和IWM算法进行了实验比较分析,结果表明在运行时间与尝试次数方面整体优于其它算法,获得了较好的效果.IQS算法和IWM算法已集成实现在网络内容监管系统中,用真实数据对该系统进行了测试,实验结果表明该算法表现出了较快的运行速度,系统的各项性能指标均已达到预定目标.

目录

文摘

英文文摘

声明及学位论文使用授权声明

1绪论

1.1研究背景及意义

1.2国内外现状分析

1.2.1网络内容监管

1.2.2串匹配

1.3研究内容及目标

1.4论文的安排

2串匹配算法

2.1概述

2.2单模式串匹配

2.2.1 BF算法

2.2.2 KMP算法

2.2.3 BM算法

2.2.4 KR算法

2.2.5 QS算法

2.3多模式串匹配

2.3.1 DFSA算法

2.3.2 FS算法

2.3.3 Wu-Manber算法

3网络内容监管系统概述

3.1项目背景

3.2需求分析

3.3系统设计目标

3.4总体设计与系统架构

3.5功能模块说明

3.6串匹配技术在网络内容监管系统中的应用

4串匹配算法的设计与实现

4.1设计考虑

4.2单模式串匹配算法IQS

4.2.1现有算法分析

4.2.2 IQS算法

4.2.3实验与分析

4.3多模式串匹配算法IWM

4.3.1现有算法分析

4.3.2 IWM算法

4.3.3实验与分析

5网络内容监管系统的集成实现

5.1数据库的设计

5.2IQS算法和IWM算法的集成

5.3系统集成实现

5.3.1接口定义

5.3.2系统流程

5.4系统主要功能介绍

5.5系统测试

6结束语

6.1本文总结

6.2今后的研究方向

致谢

参考文献

附录

附录A IQS算法程序代码

附录B IWM算法程序代码