基于资源调整的深度学习模型动态批处理调度方法和系统

摘要

本发明提供了一种基于资源调整的深度学习模型动态批处理调度方法和系统，包括：步骤1：将深度学习推理作业按运行时消耗评估资源的种类进行任务拆分；步骤2：根据深度学习推理作业的资源种类和当前部署环境资源情况进行任务动态批处理，当满足预设停止调度条件时停止调度，当接收到新推理作业，或在可用资源发生变化时，触发新的调度。本发明通过不同运行时期运行调度当时的部署资源情况，得出此时某个推理任务的批处理推理批量大小并调度执行，可以有效的根据实时部署资源，动态调整批处理批量，利用批处理对运行效率的提升并达到对部署资源的实时充分利用，从而提升资源动态变化场景下的推理作业处理的吞吐量。