一种基于异步数据传输的GPU调度方法及系统

摘要

本发明提出一种一种基于异步数据传输的GPU调度方法及系统。在深度学习推理时将CPU向GPU数据传输与GPU计算异步执行，将会极大的降低最终的延迟时间。因此，本发明提出了一个以并发量为自变量，系统吞吐量和时间延迟为因变量的定量模型。基于该模型，实现了一种利用两个进程隐藏数据传输延迟的调度算法，以提高系统性能。本发明可以通过正在执行的批量作业信息来计算确定下一个批量大小，并完全并行GPU数据传输和计算过程。同时，该算法能够实时匹配不断变化的并发量，在满足实时吞吐量要求的同时，最大限度地减少了作业延迟。