基于Apache Storm的大规模网络流量实时监控系统研究

摘要

近些年来,接入设备的激增、网络应用及协议的不断涌现和互联网流量的爆发式增长为数据分析与处理带来极大挑战,计算速度以及横向扩展能力已成为制约传统架构模式的网络流量监控系统向高并发网络环境迁移的主要瓶颈.本文面向大规模网络,提出并实现了一种以Storm Topology计算模型为基础的网络流量实时监控系统设计方案.通过对天津教育城域网实时Netflow数据的采集与处理,本文对该设计方案的计算性能进行了验证,此外,本文还从系统吞吐量和并发节点数对计算速度的影响这两方面对Storm集群进行了分析与探究.