一种面向分布式机器学习参数同步差异化数据传输方法

摘要

本发明公开了一种面向分布式机器学习参数同步差异化数据传输方法，将等待同步的结构化梯度张量按照其张量结构，从更细粒度进行数据拆分之后衡量数据对模型收敛的贡献，依据梯度的贡献度，本发明提供差异化传输质量(可靠性、传输时延)的梯度传输方案；对模型收敛贡献度高的数据得到更高的传输可靠性和更低的传输时延；差异化的梯度数据传输方法使得在有限的网络资源下，数据传输更加高效；从而解决在保证模型收敛的同时降低参数同步的通信开销的问题。