从量化的固件神经网络层得出一致的软件神经网络层

摘要

提供了用于得出一致的软件神经网络层的系统和方法。该方法包括接收第一指令，第一指令被配置为使用神经网络处理器(NNP)处理与神经网络层相对应的第一数据集，其中NNP被配置为量化第一数据集以生成量化的数据集，并且然后使用与NNP相关联的硬件内所包含的矩阵向量乘法器，对量化的数据集执行矩阵向量乘法操作，以生成第一结果集。该方法还包括处理第一指令以自动生成第二指令，第二指令被配置用于与不同于NNP的至少一个处理器一起使用，使得第二指令在被至少一个处理器执行以执行矩阵乘法操作时，生成与第一结果集一致的第二结果集。