基于Transformer模型的INT8离线量化及整数推断方法

摘要

本发明提供了一种基于Transformer模型的INT8离线量化及整数推断方法，包括如下步骤：将原始Transformer浮点模型中归一化层的L2范数转换成L1范数；进行模型训练；通过少量数据进行前向推断，获取各层矩阵运算的输入数据的量化系数，提取为一般浮点数据；获取浮点模型中各线性层的权重量化系数，提取为一般浮点数据，根据计算均方误差的方法确定各层中的最优权重量化系数；将推断过程中涉及量化操作的量化系数化为2‑n的浮点数形式，通过联合系数调整的方法来调整量化系数；基于调整后的量化系数结合L1范数的归一化层得到INT8的整数推断模型。本发明可减少模型计算所需硬件资源和模型量化带来的误差，降低硬件资源消耗和提高模型的推断速度。