企业内部分布式机器学习系统设计与实现

摘要

随着机器学习算法在工业领域的大规模应用,企业内部网络急需部署一个可以用于机器学习算法验证、调试以及应用的系统.该系统应具备足够的算力,同时支持研发人员并发运行多个计算任务,并在计算任务结束后返回结果.该文将使用消息队列和分布式进程调度框架设计一个满足企业内部需求的分布式机器学习平台.