基于迭代MapReduce的混合云大数据分析

摘要

现有混合云平台运行大数据分析等数据密集型工作负载存在数据迁移开销大、执行时间长等问题,提出基于迭代MapReduce的大数据分析方法.提出一种数据存储和数据迁移机制,迭代时将初始不变量从私有云迁移至公有云,无需修改MapReduce框架或底层存储层;利用随机森林估计所提迭代MapReduce应用程序所需的计算时间.OpenStack混合云实验结果表明,相比传统方案,提出方法仅增加了初始迭代的运行时间,最终完成时间比传统方法节约12.6％以上.此外,提出的性能预测方法的误差率可保持在19.54％以内.