基于数据本地性的Hadoop任务调度方法及装置

摘要

本发明提供了一种基于数据本地性的Hadoop任务调度方法及装置，解决了现有技术中由于等待本地性节点或任务的时间所带来的网络开销较大、任务执行效率和资源利用率较低的问题。所述方法包括：根据任务的剩余完成时间以及节点间传输数据块的时间选取待预取节点；判断未运行的任务中是否有本地任务；如果所述未运行的任务中有本地任务，则直接从所述未运行的任务中选取本地任务分配到所述待预取节点进行执行；如果所述未运行的任务中没有本地任务，则按照数据本地性策略从所述未运行的任务中选取待预取任务；为所选取的待预取任务预取输入数据到所述待预取节点上，以使后续在调度到所述待预取任务时直接从所述待预取节点上调用所述输入数据进行任务执行。