一种基于分布式任务调度的GFS气象数据下载方法

摘要

本发明公开了一种基于分布式任务调度的GFS气象数据下载方法，其中，具体包括如下步骤：步骤1、任务配置；步骤2、任务分片；步骤3、任务分发；步骤4、任务执行，本发明支持多个GFS气象数据文件分片下载，不同文件分发到不同的任务执行器上，实现下载任务隔离，在一定程度上解决了文件下载单点故障问题，且对于在下载过程出现下载失败的任务，任务管理器会将其转移到其他任务执行器上下载，保证了整个下载任务的完整性。