一种在云端下进行GPU内核程序高效率调度的运行时系统

摘要

本发明公开了一种在云端下进行GPU内核程序高效率调度的运行时系统，旨在提高GPU在云端运行的效率以及利用率。所述运行时系统由网络守护模块与调度器模块组成；网络守护模块负责对GPU内核程序与运行参数进行传输与解析；调度器模块负责对GPU内核程序进行分类与调度执行。网络守护模块通过网络的方式将GPU内核程序传输至云端；调度器模块再将GPU内核程序通过不同的调度策略进行调度；调度器模块对GPU内核程序进行分类，入列任务队列，再装载到GPU硬件上，完成执行；执行后，网络守护模块将运行结果传输至调用方。本发明提高了GPU资源利用率，降低了云端下GPU内核程序调用的平均时延。本发明适用于支持CUDA运行时编译的GPU云服务器。