一种面向深度学习模型推理批处理优化方法与系统

摘要

本发明公开了一种面向深度学习模型推理批处理优化方法与系统。本系统包括负载容器批处理分析工具模块和批处理合并工具模块、算法服务调用模块；负载容器批处理分析工具模块，用于将推理服务请求中的推理输入参数保存到预处理数据集中，生成训练数据对各容器中的模型进行性能测试，然后根据测试的结果指标确定最佳参数；批处理合并工具模块根据最佳参数预测并获取下一时间窗口的推理服务请求生成批处理任务并发送到对应容器中执行。本发明对无服务器架构下的深度学习推理服务性能进行优化，有效的利用多核并行计算能力，能够高效的进行高并发下的推理服务请求，使得在资源利用率，任务执行延时、吞吐量方面得到了大幅度优化。