一种基于模型分解的分布式机器学习模型传输压缩方法

摘要

本发明公开了一种基于模型分解的分布式机器学习模型传输压缩方法，通过采用压缩算法对模型梯度逐层分解压缩，实现了对分布式机器学习模型训练过程中每轮迭代内工作节点与参数服务器节点间传输数据量的压缩，有效降低了通信数据量，实现了通信开销与训练模型精度之间的权衡，缓解了分布式训练的通信瓶颈问题，在保证训练精度的同时提升了模型训练速度。