一种降低低比特卷积神经网络推理运算复杂度的方法

摘要

本发明提供一种降低低比特卷积神经网络推理运算复杂度的方法，包括S1神经网络训练结束后，利用保存的数据进行量化，假设第i层的量化如下：其中δi为激活函数，QA为feature map的量化公式,Qw为权重的量化公式；S2当S1中公式的参数符合条件，量化通过定点数的运算获得：S3从feature map的量化确定阈值：feature map的量化：由feature map的量化公式直接推出阈值为(0.5，1.5…(2k‑0.5))，其中k是量化的比特位宽；因为阈值之间的距离都是1.0，所以在最终量化时只需保存其中则阈值n∈{0,1…(2k‑1)}其中k是量化的比特位宽；S4由于量化为低比特时，量化后feature map的数值确定，并且QA为均匀量化，所以S2中的通过和一系列阈值(T1，T2…Tn)比较获得最终的量化结果。本申请解决低比特模型推理过程计算复杂度和计算资源需求大的问题。