用于机器学习模型的压缩和分发的系统和方法

摘要

本公开提供了用于压缩和/或分发机器学习模型的系统和方法。在一个示例中，提供了一种计算机实现的方法来压缩机器学习模型，该方法包括由一个或多个计算设备获得机器学习模型。该方法包括由一个或多个计算设备选择要被量化的权重，以及由一个或多个计算设备对该权重进行量化。该方法包括由一个或多个计算设备将量化误差的至少一部分传播到一个或多个未被量化的权重，以及由一个或多个计算设备对未被量化的权重中的一个或多个进行量化。该方法包括由一个或多个计算设备提供被量化的机器学习模型。