Spark与MLlib：当机器学习遇见分布式系统

摘要

或许MateiN年只是想为Mesos这把“屠龙宝刀”的顺利测评造一条小龙出来，结果无心插柳，Spark已开始侵占Hadoop的地盘，在批处理、流计算、机器学习、图计算等领域发挥效力。本文将着重探索Spark）框架与MLlib的适配，以及MLlib中机器学习算法向量参数的模式与性能，即依托于RDD这种编程抽象，以向量为参数的机器学习算法应该怎样写才能获得最佳的处理能力。