基于Storm的实时海量轨迹数据查询系统设计

摘要

大数据环境下,互联网及其它行业领域中时刻都在涌现出海量数据并快速增长,传统的查询系统框架存在着数据量增大时无法满足用户实时查询的需求.提出了一种基于Storm的海量轨迹数据实时查询系统设计方法,采用分布式实时计算系统Storm平台对实时海量轨迹进行处理,利用CQL语句对数据流实时查询,对于轨迹数据量较大情况下引起的系统利用率问题,采用动态负载均衡算法对本查询系统进行负载均衡,针对数据量过大超出系统处理上限的问题,设计了一种过载处理方法.通过具体业务数据对该系统进行性能测试,测试结果表明实时查询系统所面临的负载均衡问题得到了有效的改善,系统的实时性得到了明显的提高,能够满足海量轨迹数据的实时查询需求.