网页内容监管系统的研究与实现

摘要

随着互联网的快速发展，互联网安全监管已成为重要课题，根据统计，大部分网络流量为网页内容，从而网页内容监控成为互联网安全的主要内容。本文就是基于ETSI标准设计和实现一个网页内容监管系统。
　　本文主要工作包括
　　1)网页内容监管子系统的设计，主要包括系统架构设计，系统功能模块设计和系统工作流程设计，主要功能模块包括深度报文识别模块（在线流量中识别出网页内容数据）、协议解析模块（对深度报文识别模块发送过来的数据进行协议解析，在网页内容监管子系统中，协议解析模块中会加载HTTP协议解析线程，对网页内容交互情景再现，获取网页内容数据）数据处理模块（网页内容监管系统中结构化数据的实时转发入库和事后查询），文件处理模块（网页内容监管系统中还原处理的网页文件实时存储和事后查询）。其中HTTP协议解析模块是主要功能模块的基础和关键。
　　2)对本系统核心模块HTTP协议解析模块进行了详细设计与实现，包括本模块与其他模块的关联关系，模块的功能及提高匹配查找效率的设计，并且描述了如何满足对应的功能点及性能指标的设计思路。对HTTP模块的内部结构，工作流程和主要程序流程进行了设计，在处理下行响应报文的流程中，提出了改进的ACBM算法，降低了系统内存的占用。开发环境为Windows764位，开发工具为Visual Studio2008，开发语言为C语言，编辑器为gcc。部署环境为Linux x8664为通用服务器。
　　3)对HTTP模块进行了单元测试，从被测单元的功能点、进行测试目标分解，考虑了边界值健壮性等，设计了单元测试的用例并执行。在集成测试中，对HTTP模块与其他模块的接口入手，描述了集成测试的环境和测试测试执行情况。
　　本文主要成果是设计了ACBM的改进算法--ACBM-HB算法，用于HTTP协议下行响应报文的解析的多模式匹配功能中，解决了ACBM内存占用较大的问题。
　　系统目前已经在实际线网中稳定运行了一年。运行效果表明，本文系统可有效支撑线网网页内容监管，可促进互联网内容监管工作的深入开展。

目录

声明

摘要

缩略词表

图索引

表索引

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状及分析

1．2．1 互联网监管

1．2．2 网页内容监管

1．3 本文主要工作内容

1．4 论文结构安排

第2章 相关技术基础

2．1 ETSI标准

2．2 互联网内容监管系统

2．2．1 硬件环境

2．2．2 软件环境

2．2．3 网页内容监管子系统所处的位置

2．3 HTTP协议

2．4 ACMB算法

2．5 本章小结

第3章 网页内容监管系统的需求分析与总体设计

3．1 系统需求分析

3．1．1 功能需求

3．1．2 非功能需求

3．2 网页内容监管系统的总体架构设计

3．2．1 系统部署设计

3．2．2 分层架构设计

3．2．3 系统功能模块设计

3．2．4 系统工作流程设计

3．2．5 HTTP协议解析模块分析

3．3 数据库设计

3．4 系统主要界面设计

3．4．1 综合预警

3．4．2 分析研判查询

3．5 系统容错机制设计

3．6 本章小结

第4章 HTTP协议解析模块的设计与实现

4．1 HTTP协议模块与其他模块关联描述

4．1．1 模块功能描述

4．1．2 模块性能要求

4．1．3 模块接口

4．2 HTTP模块设计思路

4．2．1 功能设计思路

4．2．2 性能提升设计思路

4．2．3 可靠性设计思路

4．2．4 可移植性设计思路

4．3 HTTP模块架构设计

4．3．1 HTTP分层架构设计

4．3．2 HTTP线程结构设计

4．3．3 线程内存操作流程设计

4．4 HTTP模块工作流程设计

4．5 模块内部处理流程设计

4．5．1 协议报文处理流程

4．5．2 客户端状态判断流程

4．5．3 会话管理流程

4．5．4 上行请求报文头处理流程

4．5．5 下行响应报文头处理流程

4．5．6 下行响应报文内容处理流程

4．6 基于ACBM算法的HTTP下行响应内容处理的改进设计

4．6．1 改进多标签搜索性能的必要性

4．6．2 ACBM算法

4．6．3 改进的ACBM算法

4．7 HTTP协议解析模块实现环境与工具

4．7．1 开发环境

4．7．2 运行环境

4．7．3 工具

4．8 核心代码

4．8．1 上行请求报文头拼接

4．8．2 MIME解析content-type字段

4．9 主要运行界面

4．9．1 设控策略界面

4．9．2 综合预警查看界面

4．9．3 研判分析界面

4．10 本章小结

第5章 HTTP协议解析模块单元及集成测试

5．1 单元测试

5．1．1 被测单元

5．1．2 测试资源

5．1．3 下行响应报文头处理入口函数模块测试

5．2 集成测试

5．2．1 需要测试的接口

5．2．2 需要测试的功能

5．2．3 集成测试环境

5．2．4 集成测试执行情况

5．2．5 集成测试结论

5．3 本章小结

第6章 总结与展望

6．1 论文总结

6．2 工作展望

致谢

参考文献