基于Sketch数据结构的海量网络流量实时排名系统

摘要

海量互联网流量数据服从幂律分布,因此对流量中排名前k个的服务提供商(SP)进行实时监控和了解,有助于运营商实时了解网络状态,便于网络管理。针对这个事实,提出一种采用概要(Sketch)数据结构的互联网流量实时排名系统。该系统实时记录网络数据流信息到Sketch数据结构,用Sketch图来保留整个数据流所有元素的概要信息。与数据流所有元素信息相比,Sketch图占用更少的计算和存储资源,因此可以实现实时流量统计。此外,为适应大规模流式数据的需求,系统算法进行并行化,并部署在并行流式工作框架SparkStreaming之上,从而实现对海量网络流量的实时排名。该系统应用于运营商真实网络环境下,对真实网络环境下流量进行了实时跟踪和分析。通过大量实验首次给出了某省网络运营商真实流量的实时排名变化情况,发现在一天内流量排名虽然有小幅的变化,但整体排名顺序基本保持不变,腾讯公司是流量最大的服务提供商;同时还发现为了分流网络流量,减小网络流量压力,服务提供商将网页内嵌的图片、视频等对象转移到其他域名下。通过实际应用和测试验证了该实时排名系统的有效性。