一种基于Spark流计算框架的消息容错方法及系统

摘要

本发明提供一种基于Spark流计算框架的消息容错方法及系统，方法如下：创建工作流程序，设置元数据检查点任务将加入程序和配置版本标签的流式计算信息保存到存储系统；设置Spark流从消息队列读取消息获取数据集，完成Spark流中数据集转换操作及创建逻辑执行计划；当Spark流中有状态转换，且有数据检查点时，设置数据集进行有状态转换处理，并在数据检查点任务中加入程序和配置版本标签；当系统出现故障时，设置Spark流获取检查点中的程序及配置版本信息，并在程序及配置版本信息发生改变时，启动重做任务，重做检查点，以及在未发生改变时，重启程序；启动新版本程序，通过新版本检查点进行后续数据恢复处理。