地理分布式机器学习:超越局域的框架与技术

摘要

提出了一种面向地理分布式机器学习的软件框架GeoMX,该框架从通信架构和压缩传输机制两方面着手优化通信.对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小.GeoMX在跨广域分布的数据中心上最高可取得4倍于数据中心内MXNET的训练效率,且几乎无精度损失.