一种基于WEB的Spark应用程序调度方法及系统

摘要

本发明公开一种基于WEB的Spark应用程序调度方法及系统，方法包括步骤：A、通过WEB从Spark应用程序库中选择可用的Spark应用程序并添加到统计活动中，并编辑各Spark应用程序的依赖关系，生成依赖关系图和执行顺序信息，并保存到调度信息数据库中；B、启动统计活动，按照执行顺序信息依次执行各Spark应用程序，并记录各Spark应用程序的状态。本发明通过浏览器来配置Spark应用程序之间的依赖关系，并能以图形化的方式展示。运维人员可以监控到Spark应用程序的各种状态，大大提高了运维的效率，降低了运维出错的概率。