一种基于固定移位的8位整型全量化推理方法及装置

摘要

本发明公开了一种基于固定移位的8位整型全量化推理方法及装置，方法包括：获取训练后保存的浮点型的神经网络模型；按照通道计算神经网络模型的每一层中每个通道的权重的第一动态调整值；使用KL散度算法计算每一层的激活值的第二动态调整值；将第一动态调整值和第二动态调整值由浮点型转换成定点型；根据总移位数，定点型的第一动态调整值和第二动态调整，计算每一层输入的定点目标动态调整值；将权重转换成定点权重；在进行推理的过程中，针对神经网络模型的每一层，根据定点型第二动态调整值将本层的输入转换成8位定点型，并根据定点权重和定点目标动态调整值计算得到本层的输出以作为下一层的输入；通过输出层输出8位定点型的结果数据。