一种用于多云部署的流处理系统容错方法

摘要

本发明提出一种用于多云部署的流处理系统容错方法，主要包括三个步骤：步骤1，将资源管理和分配架构设置为三层架构：任务管理器‑云管理器‑执行终端；步骤2，以云边界为切分依据，将跨云流处理任务切分为多个处理阶段，其中每个阶段中连接其它阶段的节点称为边界节点，其余节点称为云内节点；步骤3，进行容错判断和处理，两个处理阶段的边界节点间的故障采用缓存加确认的容错方法，云内节点的故障采用云内全局一致的分布式快照容错方法。