一种面向监控视频流场景的神经网络模型推理加速方法

摘要

本发明公开了一种面向监控视频流场景的神经网络模型推理加速方法，以神经网络层级为单位，按照神经网络推理计算方向进行分割，将原先的神经网络模型分割成多个模块，前一个模块的输出作为后一个模块的输入，分割后的多个模块之间利用多进程技术并行处理，即一个模块对应一个进程；神经网络各个模块之间按照多进程方式并行独立计算输入数据，模块进程之间数据传输通过消息队列方式进行。本发明涉及神经网络模型技术领域，具体提供了一种面向监控视频流场景的神经网络模型推理加速方法，该方法从神经网络的前馈特征和层级级联特性出发，利用多进程技术提升神经网络推理计算时的运行速度。