Hadoop大数据平台中基于网络I/O代价评估的ReduceTask数据本地性调度方法

摘要

本发明涉及一种Hadoop大数据平台中基于网络I/O代价评估的ReduceTask数据本地性调度方法，属于云计算平台优化技术领域。该方法通过评估以每个所记录的Host节点为ReduceTask执行节点时，其它节点上的Map输出数据拷贝到该Host节点的网络I/O代价，以此作为分配ReduceTask的优先权，来为优先权高的节点分配Reduce任务，从而达到降低Map输出数据拷贝到Reduce节点的网络I/O代价，使得所选Reduce节点具有最佳的数据本地性。该方法为ReduceTask的分配加入了数据本地性，从而使得Shuffle阶段的数据拷贝带来的网络负载降低，节省了Hadoop集群的网络带宽资源。