一种hadoop大数据平台的任务调度管理系统及方法

摘要

本发明公开了一种hadoop大数据平台的任务调度管理系统及方法，系统包括权限模块、任务检索模块、任务依赖模块、调度检索模块、任务合规检查模块、调度模块、报警模块和任务状态检索模块；本发明提供一种可视化系统，用于可视化的进行任务的调度依赖管理，以及任务血缘关系的查看和管理，便于用户进行问题的追溯以任务的依赖关系配置；不再需要用户进行手动配置任务的运行时间，调度的任务会根据前置依赖任务的运行结束时间自动开始运行后置任务；当任务发生运行错误时，会根据用户配置的重试次数进行任务的重试运行，并提供报警机制，提醒依赖了当前运行失败的用户；任务依赖的环自动检索功能，有效避免任务运行死循环的问题。