一种用于在分布式异构环境下实现多GPU调度的方法和系统

摘要

本发明公开了一种用于在分布式异构环境下实现多GPU调度的方法，其根据Java计算任务创建对应的GPU本地计算任务，并通过数据分块和任务分解，将GPU本地任务划分为更细粒度的GPU本地子任务，然后根据数据本地性以及从节点上所有GPU的流资源状态和内存资源状态将GPU本地子任务调度到指定GPU上执行，从而充分平衡各个GPU上的工作负载，降低Spark应用程序的执行时间。本发明能够解决现有分布式异构Spark处理框架中存在的吞吐量低、无法有效利用多个GPU、以及由于缺乏有效的GPU负载均衡策略导致的时间开销大的技术问题。