基于python实现的多模型融合并行推理方法、装置及系统

摘要

本发明公开一种基于python实现的多模型融合并行推理方法，包括获取参与推理的多个异构模型，将多个异构模型按照预设规则转换成标准子模型；将每个子模型的结构和权重字典与总模型的每条分支相互对应，基于每个子模型的结构和权重字典将每个标准子模型融合成总模型；将总模型加载至GPU中，并对融合后的总模型进行推理验证；定义总模型的输出为每个子模型的输出组成的列表，通过列表索引将总模型的推理结果映射回子模型。推理效率高，相较于多进程、多线程并行推理方法，本发明只在一个进程中运行，没有进程间、线程间的调度问题，效率更高。节约存储资源，将多个子模型融合为一个总模型，相较于多进程方法，本发明只需一份输入数据，节约了存储资源。