用于神经网络量化的细粒度每向量缩放

摘要

本发明公开了用于神经网络量化的细粒度每向量缩放。如今，神经网络已用于开启自动驾驶汽车并提高语音识别、实时语言翻译和在线搜索优化的质量。然而，针对上述应用的神经网络的操作会消耗能量。由神经网络使用的参数量化减少了存储参数所需的内存量，同时还减少了神经网络运行期间的功耗。由神经网络执行的矩阵运算需要许多乘法计算，因此减少相乘的位数可以减少消耗的能量。与量化较大的参数集相比，使用共享缩放因子对较小的参数集进行量化可以提高准确性。通过使用细粒度每向量缩放因子对参数进行量化和缩放，可以保持计算的准确性。向量包括多维矩阵的单个维度内的一个或更多个元素。