一种适用于分布式机器学习的参数同步优化方法及其系统

摘要

本发明提供了一种适用于分布式机器学习的参数同步优化方法及其系统，使用参数服务器分布式方式实现的机器学习算法，解决现有算法在参数同步过程中的瓶颈。本发明系统包括参数服务器端的资源监控和分配模块、参数维护模块，各工作节点的服务器资源请求模块、参数同步时间间隔控制模块、未同步时间累计模块、参数计算模块和参数同步模块。本发明通过监控参数服务器资源占用情况，为不同工作节点选取不同同步时间间隔来避免请求突发情况，同时保证选取的时间间隔能够同时满足降低通信频率和确保训练准确率，以有效解决现有分布式机器学习系统在参数同步过程中所面临的瓶颈问题。