一种面向数据偏移的云计算系统运行时负载均衡机制

摘要

在类MapReduce的云计算系统中,数据偏移是产生Straggler的重要原因之一.本文针对迭代式的云应用,利用相邻迭代间输入数据与中间数据存在的一定相似性,提出了一种面向数据偏移的云计算系统运行时负载均衡机制.该机制在迭代执行时统计中间数据的分布情况,并由此指导下一次执行的数据分区,以促进Reduce节点的负载均衡,减少部分节点因负载大而产生的Straggler现象.本文在开源HaLoop系统中设计实现了该机制,并在实验室集群系统上进行了部署测试.实验表明,该机制能够有效地均衡节点的计算负载,并显著减少应用作业在云计算系统中的运行时间.