一种关于Storm使用的实时消息处理方法

摘要

本发明公开了一种关于Storm使用的实时消息处理方法，属于Storm技术领域，本发明要解决如何在消息处理的过程中不丢失数据，而且可以使整个处理系统具有很好的扩展性的问题。技术方案为：所有Topology的提交在Storm的客户端节点上进行，由Nimbus所在的控制节点分配给其他Supervisor所在的工作节点进行处理。Nimbus首先将提交的Topology进行分片，分成一个个的Task，并将Task和Supervisor相关的信息提交到 zookeeper集群上，Supervisor去zookeeper集群上认领自己的Task，通知自己的Worker进程进行Task的处理。