一种多个服务共享同一个GPU的方法、系统、设备及介质

摘要

本发明公开了一种多个服务共享同一个GPU的方法、系统、设备和存储介质，方法包括：响应于接收到创建GPU服务的请求，根据请求创建对应的GPU服务，根据GPU服务创建对应数量的GPU Pods，将GPU服务与GPU Pods进行关联；根据GPU Pods的配置创建Kubernetes Pods，将Kubernetes Pods与GPU Pods进行关联；响应于接收到计算请求，根据计算请求确定需要申请的GPU显存或GPU时间片的规格并与GPU服务规定的阈值比对；响应于GPU显存或时间片的规格小于阈值，读取GPU Pods和Kubernetes Pods的当前资源剩余量并与GPU显存或时间片的规格比对；响应于GPU显存或时间片的规格小于GPU Pods和Kubernetes Pods的当前资源剩余量的总和，根据当前资源使用率调度GPU Pods和Kubernetes Pods进行计算。本发明的方案可以实现根据计算请求合理分配资源。