用于优化神经网络模型推理的方法及设备

摘要

本发明的实施方式提供了一种用于优化神经网络模型推理的方法及设备，其中所述方法包括：在利用所述神经网络模型进行推理时，根据所述神经网络模型的帧重组规则，读取第一节点值矩阵中的帧，以形成与所述第一节点值矩阵相关的多个第一节点子矩阵；以及利用所述多个第一节点子矩阵分别与相应的权重执行运算，以确定第二节点值矩阵。根据本发明的方法，可以有效利用计算资源并解决帧重组操作耗时的问题，从而能够有利于提高神经网络模型的推理速度和效率，并且可以使得神经网络模型能够更好的适应于高吞吐量需求的应用场景中。