一种基于图形处理器的深度神经网络多模型并行推理方法

摘要

本发明提供了一种基于图形处理器的深度神经网络多模型并行推理方法，包括以下步骤：S1、根据待推理的网络模型构建多个对应的推理引擎；S2、将推理引擎与对应的输入数据地址和GPU设备的Stream对象进行绑定；S3、根据多线程推理构建所需的推理分组，每个推理分组均对应一个CPU线程对象；S4、将每个推理分组与对应的CPU线程对象进行绑定；S5、将推理引擎添加至推理分组中；S6、构建推理管理器；S7、将推理分组添加至推理管理器中；S8、推理管理器发起多线程并行推理操作。本发明能够实现多模型推理过程中的数据共享、能够更加高效的发挥GPU的并行处理能力和有效进行多模型推理计算过程中的线程同步操作。