一种降低低比特卷积神经网络推理运算复杂度的方法

摘要

本发明提供一种降低低比特卷积神经网络推理运算复杂度的方法，所述方法包括以下步骤：S1，假设第i层的权重为Wi，深度卷积全精度权重数据分布符合正态分布，权重所有数据对称性分布于平均值左右两侧；S2，meanw，varw分别代表权重的平均值、标准差；meanw‑3*varw至meanw+3*varw范围：此范围所占比率为全部数值之99％；在权重量化代码之前添加3个标准差的数据剪裁；S3，对权重进行3个标准差的剪裁之后，保留99％的权重数据，利用剪裁之后数据进行量化，剔除异值过大数值。解决现有低比特量化微调、重训过程中存在网络不收敛，训练时间长，低bit模型定点数不能充分利用等问题。