互联网内容检测与流量经营

摘要

中国电信、中国联通以及中国移动等三家运营商都建立了全国性的高速宽带IP骨干网络，承载数据、语音、视频等业务及其增值业务，但内容资源主要集中在中国电信与中国联通，互联互通的带宽瓶颈使得用户访问部分资源时速度慢、体验差，并由此产生的流量带来了昂贵的互联互通结算费用。此外，P2P类流量占用了网络的大部分带宽，使得网络的质量难以保证。
　　本文针对以上两个问题，以中国移动运营商为探讨对象，重点研究了各种互联网加速访问技术和内容检测技术，在此基础上提出了基于DPI的内容缓存系统，通过DPI技术对用户访问的内容进行深入分析，把移动网内缺少的且符合缓存条件的内容源按照缓存策略从外网拉取、存储，丰富了网内资源，提升了用户体验，增加了流量收益，使得更精细化的流量经营成为可能。本文的主要工作和成果如下:
　　1.研究分析了五种互联网网络加速访问技术，得出短平快特征凸显的内容缓存技术是针对移动运营商存在的问题的最佳解决方案;
　　2.对两种缓存系统——WebCaehe和P2PCache的部署方式和实现原理进行了研究，对内容对象分类进行存储;
　　3.介绍了DPI和DFI两种内容检测技术，重点研究了DPI技术的理论基础——模式匹配算法，包括特征字符串匹配算法和正则表达式匹配算法，通过搜索匹配结合DPI特征库来完成数据包的检测;
　　4.对已有的几种缓存策略和缓存替换算法进行了比较分析，提出了基于权值的替换算法来实现本文缓存系统对内容对象的更新;
　　5.在分析研究了相关的关键技术之后，提出了基于DPI的内容缓存系统，给出了系统的总体框架和各个子系统的设计方案。最后，将该系统部署于移动网络出口处，得到测试结果并得出结论:系统回吐流量显著大于回源流量，实现了流量经营的目的。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景

1．2 移动公司网络现状及存在的问题

1．2．1 网络现状

1．2．2 存在的问题

1．3 论文的主要工作及内容结构

第2章 关键技术研究

2．1 互联网网络加速访问技术

2．1．1 流量疏导

2．1．2 流量控制

2．1．3 CDN

2．1．4 IDC内容引入

2．1．5 内容缓存

2．1．6 网络加速访问技术比较

2．2 缓存技术

2．2．1 WebCache

2．2．2 P2PCache

2．2．3 缓存系统部署方式

2．3 内容检测技术

2．3．1 DPI深度包检测技术

2．3．2 DFI深度／动态流检测技术

2．3．3 DPI和DFI技术比较

2．4 本章小结

第3章 缓存服务策略设计

3．1 缓存系统的考虑因素

3．2 缓存策略

3．3 缓存算法

3．3．1 热点判断

3．3．2 替换算法

3．4 本章小结

第4章 基于DPI的内容缓存系统的设计与实现

4．1 系统总体设计及流量经营目标

4．2 各子系统设计方案

4．2．1 重定向子系统的设计

4．2．2 分析调度子系统的设计

4．2．3 管理子系统的设计

4．2．4 缓存子系统的设计

4．3 业务功能

4．4 系统实现

4．5 本章小结

第5章 结论与展望

5．1 结论

5．2 展望

参考文献

致谢