移动互联网的文件分类审计系统研究与实现

摘要

随着移动互联网设备在我国的广泛普及，移动互联网用户正呈现指数级地增长，移动用户上网的流量正占据互联网中的重头。为保障移动互联网安全，及时发现网络中的安全问题，满足国家互联网安全需求，进行移动互联网文件分类审计系统建设是非常有必要的。移动互联网数据海量涌现为审计工作带来了很大困难。当下提出一个适用于移动网络有效的审计方案势在必行，本文在此背景下提出并设计了移动互联网文件分类审计系统。
　　本文以移动互联网的文件分类审计为题，总结国内外已有的工作研究，归纳了文件分类审计工作在移动互联网中遇到的问题，设计了适应移动互联网环境的文件分类审计系统并予以实现。本文的主要内容如下:首先，本文调研文件分类审计工作所涉及技术，总结归纳审计工作的方法与特点，为系统设计做理论基础。同时，本文对文件分类审计工作涉及到的关键技术进行研究，其中包括文本特征提取算法优化、基于特征标识的文件类型识别、基于多进程的性能优化。此后，本文对移动互联网文件分类审计系统进行设计，提出系统目标与整体设计框架，并在此基础上完善设计每一个功能模块。最后，本文对审计系统进行了实现，介绍了系统主要功能，并对上网行为审计功能进行了测试，本文设计和实现的移动互联网审计系统有着良好的业务识别能力以及数据处理功能。
　　本文的主要成果在于:第一，本文提出基于卡方统计特征提取算法的优化算法，并将优化算法应用于系统的网页分类审计。第二，本文提出了限定区域的文件标识匹配方法，并应用于审计系统，实现了对于网络传输文件的审计。第三，本文对系统进行基于多进程的系统性能优化，采用了负载均衡、父子心跳、内存管理等技术优化系统性能，解决了大数据量处理问题。
　　本文旨在研究、分析设计和实现文件分类审计系统，主要对现存审计系统优缺点进行分析，提出相应的改进措施，达到处理大数据量的目的，并将改进技术应用到审计系统，从而提高系统的处理能力。通过测试，结果表明本系统能够满足本文提出的系统目标以及对移动互联网业务的识别审计需求。

目录

声明

致谢

摘要

1．1 研究背景及意义

1．2 国内外研究现状

1．3 论文研究内容

1．4 论文的组织结构

2 相关技术介绍

2．1 数据包捕获技术

2．1．1 Libpcap技术

2．1．2 BPF技术

2．2 深度包检测技术

2．2．2 DPI技术特点

2．3 文件类型识别相关技术

2．3．1 基于后缀名的文件类型识别

2．3．2 基于特征标识的文件类型识别

2．3．3 基于内容的文件类型识别

2．4 网页分类相关技术

2．4．1 网页内容抽取

2．4．2 中文分词

2．4．3 文本特征提取算法

2．4．4 NB分类算法

2．4．5 KNN分类算法

2．4．6 SVM分类算法

2．5 二维码识别相关技术

2．6 Jemalloc内存管理技术

2．7 本章小结

3 文件分类审计系统的关键技术研究

3．1 中文网页特征提取

3．1．1 卡方统计特征提取算法

3．1．2 基于卡方统计的优化特征提取算法

3．1．3 实验步骤与结果

3．2 基于限定区域的文件标识匹配方法

3．2．1 基于特征标识文件分类流程

3．2．2 文件特征标识描述

3．2．3 基于限定区域的文件标识匹配

3．2．4 实验步骤与结果

3．3 多进程架构的性能优化

3．3．1 基于负载均衡的数据分流

3．3．2 父子心跳问题处理

3．3．3 内存优化

3．4 本章小结

4 移动互联网的文件分类审计系统

4．1 设计目标与设计原则

4．1．1 系统设计目标

4．1．2 系统设计原则

4．2 系统结构

4．2．1 系统部署

4．2．2 系统结构

4．3 模块实现

4．3．1 数据采集模块

4．3．2 协议解析及应用识别模块

4．3．3 数据存储模块

4．4 本章小结

5 系统实现与测试

5．1 系统总体实现

5．2 关键功能实现

5．2．1 实时分析实现

5．2．2 文件类型审计实现

5．2．3 网页分类审计实现

5．3 实验结果与分析

5．3．1 实验环境

5．3．2 功能测试

5．3．3 性能测试

5．4 本章小结

6．1 工作总结

6．2 工作展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集