一种多任务并发情况下GPU资源动态分配方法

摘要

本发明提供一种多任务情况下GPU资源的动态分配方法，以解决NVIDIA GPU多任务并发时，采用静态资源分配方法造成的大量资源空闲，系统吞吐率下降，资源分配不合理的问题，具有三个明显的特征：(1)可配置性，原生GPU环境无法自主配置程序运行时占用的资源量，本系统提出了一种软件的方法，在不修改任何硬件、驱动细节的情况下，实现了GPU程序运行时资源使用量的可配置性；(2)高效性，本方法考虑任务对不同种类资源的亲和性，将资源需求互补的任务并发执行，提高GPU资源的使用效率，加快多任务处理；(3)易用性，本方法提供了简易的程序转换模式，开发者只需要采用固定的操作步骤，即可将原生程序迁移至本系统下运行。