移动互联网审计平台数据处理方案的改进与实现

摘要

随着第四代移动通讯技术的崛起和智能终端的迅速发展，移动设备的网络连入量占据互联网的份额也越来越大，在移动互联网时代，数据业务渐变成了用户的核心需求，数据价值也将会成为运营商的最宝贵价值所在。因此移动互联网业务数据的分析与审计就会变得非常必要且重要。然而，也正因为移动设备的普及和移动应用的全方位覆盖，使得数据随时随地都在产生，移动网络数据包小且杂、同一时刻的实时活跃连接数量庞大、智能终端的应用种类繁多成了移动互联网的主要特点，对于数据分析，处理速度要求也变的更高，高效率的实时流量处理才能令移动业务数据产生相应的价值。
　　原有移动互联网审计平台是单进程多线程架构的系统，采用传统的Libpcap工具来捕获数据包，单纯地采用DPI技术进行数据包解析，这样的审计系统性能问题诸多，频繁的中断请求和数据拷贝，耗时的DPI业务识别，串行的单任务进程等原因严重限制了移动互联网审计平台的性能，当流量速率足够大时，原平台的处理效率令人堪忧。
　　本文分析指出原系统严重限制数据处理效率的原因，为提高审计平台数据处理的能力以满足实时高速的移动业务数据细粒度审计的需求，提出了数据处理过程中新的阶段性工作改进方案，在数据采集阶段采用基于PF_RING+NAPI的数据包捕获方案，并结合零拷贝思想做出相应的改进措施，在数据解析阶段采用基于DPI/DFI相结合的数据解析方式，并提出了基于缓存命中的预处理方法，大幅度降低了DPI处理压力。同时，采用多核多进程架构重新设计审计平台的数据分析模块，在充分利用硬件资源的同时，提升审计平台的整体性能。通过阶段化的验证试验，对数据采集阶段和数据解析阶段的方案分别做了性能测试，并展示多进程架构下的系统运行状态。实验表明，本文方案完成了高速移动网络环境下，实时稳定的业务数据处理审计任务，达到了预期研究目标，可助力运营商开展移动网络数据价值转换和移动互联网安全监管等后续工作。

目录

声明

致谢

摘要

1 引言

1．1 课题研究背景与意义

1．2 研究现状

1．3 研究内容与目标

1．4 论文的组织结构

2 原移动互联网审计平台的技术方案与问题分析

2．1 原系统的数据包采集方案

2．1．1 Libpcap工作机制

2．1．2 传统Libpcap抓包机制的问题分析

2．2 原系统的数据解析方案

2．2．1 深度包检测技术

2．2．2 现有工作基础

2．2．3 原数据解析方案的问题分析

2．3 原系统的单进程架构分析

2．3．1 系统的硬件支持

2．3．2 单进程架构问题分析

2．4 小结

3 基于PF_RING改进的数据采集模块

3．1 其他数据包捕获技术

3．1．1 基于Netfilter框架的数据包捕获技术

3．1．2 NAPI技术

3．1．3 零拷贝技术

3．1．4 基于PF_RING套接字的数据包捕获技术

3．2 改进的PF_RING机制

3．2．2 PF_RING的改进方案

3．2．3 改进后的PF_RING

3．3 数据包采集性能测试

3．4 小结

4 数据解析模块的预处理方案设计

4．1 其他业务识别技术

4．1．1 端口检测技术

4．1．2 深度流检测技术

4．2 基于缓存命中的预处理方法

4．2．1 预处理方法的相关工作

4．2．2 缓存数据结构的设计

4．2．3 缓存的创建与维护

4．3 数据解析性能测试

4．4 小结

5 多进程架构的设计与实现

5．1 数据采集阶段的多进程架构

5．2 数据解析阶段的多进程架构

5．3 审计平台的多进程实现

5．3．1 进程的创建

5．3．2 多线程下调用fork的锁问题

5．3．3 进程间通信

5．3．4 进程间的心跳功能

5．3．5 进程间的信息校验功能

5．4 多进程架构性能测试

5．5 小结

6 总结与展望

6．1 工作总结

6．2 后续工作展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集