面向分布式机器学习任务的云资源在线调度方法及装置

摘要

本发明公开了一种面向分布式机器学习任务的云资源在线调度方法，首先由云资源经纪商在每个时段的开始，观测出每个数据中心各种资源的价格函数，以及每个任务需要训练的数据量大小，计算出调度分布式机器学习任务过程中所产生的所有的代价之和，表示成整数型线性规划，然后将松弛后的线性规划通过正则化方法将每相邻两个时段内的关系解耦，将难以处理的整个T时刻的在线规划问题转化成每个时刻独立的线性规划，这样就可以实时决策不需要依赖未来的信息，最后采用设计的独立取整方法求出每个时刻每个机器学习任务的计算节点和参数服务器的部署方案以及数据迁移方案，从而达到保证任务完成效果的基础上总体的代价之和最小，优化了调度效果。