基于Storm的城市智慧交通大数据处理系统的构建

摘要

针对城市交通产生大量的实时、连续数据处理的问题,提出采用Storm分布式实时计算框架解决该问题。系统采用Kafka软件实时采集生产现场各类大量参数、发布-订阅消息,经Storm的Trident应用软件组件对大数据进行过滤、拆分、分组、函数、状态更新、状态查询、重新分区等操作完成大数据计算;结合分布式远程过程调用软件(DRPC软件)满足并行查询需求。经验证,该设计可提高原系统计算速度、效率和吞吐量,降低开销,确保数据安全。