用于优化神经网络模型推理的方法及设备

摘要

本发明的实施方式提供了一种用于优化神经网络模型推理的方法及设备，所述方法包括：根据同一批次中多个待处理任务的组合关系，以及根据所述神经网络模型的重组帧的帧重组规则，确定所述重组帧中有效帧和/或无效帧的位置，其中，所述有效帧仅包括来自同一待处理任务的帧的组合，所述无效帧包括来自不同待处理任务的帧的组合；以及根据所述有效帧和/或所述无效帧的位置，在利用所述神经网络模型进行推理时只使用所述有效帧。根据本发明的方法，可以显著减少无效运算量，从而能够有利于提高神经网络模型的推理速度，并且可以使得神经网络模型能够更好的适应于高吞吐量需求的应用场景中。