异构Hadoop集群下自适应平衡数据存储的大数据放置策略

摘要

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略.根据异构集群中各节点的计算能力比例,将数据分配到节点中.在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Ha-doop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率.实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能.