基于STORM分布式计算的海量数据统计系统设计方法研究

摘要

笔者运用STORM分布式系统的强大计算能力以及高性能的KAFKA分布式消息系统来实现海量数据实时统计系统.该系统通过KAFKA发送、存储、接收接口将计算的原始数据实时传递给STORM.STORM通过Spout作为KAFKA的Consumer接收数据,将数据转发给内部组件Bolt,通过Bolt分布在多台机器进行数据计算,最后又将计算后的数据返回给KAFKA供第三方应用.STORM支持数据重发,通过ACK机制保证数据计算的可靠性.最后通过电商订单统计系统实例,给出海量数据实时统计系统详细的设计方法.