一种主/从架构的低耦合的分布式流式计算框架

摘要

本发明实施例提供了一种主/从架构的低耦合的分布式流式计算框架，包括：分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。能够适用于多种情况下的流式数据处理，模块之间充分解耦合，能够实现动态缩扩容，实现数据的冗余备份，主节点的备份机制能实现服务的可靠性。