一种面向分布式机器学习的参数通信优化方法

摘要

本发明公布一种面向分布式机器学习的参数通信优化方法。本发明将机器学习迭代‑收敛算法的容错特性进行扩展，提出了动态有限容错特性，并基于动态有限容错性实现了一种分布式机器学习参数通信优化策略，通过动态调节各计算节点与参数服务器的同步策略结合性能检测模型，充分利用各计算节点的性能，保证机器学习模型准确率；保证计算资源充足，模型的训练过程不受分布式计算资源动态变化的影响；将训练算法和系统硬件资源进行解耦，解放了开发人员凭经验手工进行计算资源的分配以及数据通信调优的过程，有效的提高了程序在各种集群环境下的扩展性和较高的执行效率。本发明可应用于分布式机器学习参数通信的优化、集群计算性能的优化等领域中。