一种神经网络声学模型激活函数定点量化方法

摘要

本发明提供一种神经网络声学模型激活函数定点量化方法，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l‑1层的浮点激活向量中x(l‑1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，得到所述第l‑1层的线性定点量化的激活向量x*(l‑1)；步骤(2)对步骤(1)中得到的所述第l‑1层的线性定点量化的激活向量x*(l‑1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l‑1层的分级定点量化激活向量x**(l‑1)；步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wM,N线性地量化为‑127到127间的整数；步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x(l)。