一种基于MapReduce机制的数据密集型成本优化方法

摘要

本发明涉及一种基于MapReduce机制的数据密集型计算成本优化方法，在数据的流行程度和访问情况动态变化的状态下，优化MapReduce任务的执行时间和执行成本。该方法包括：提出云计算环境下基于MapReduce机制的成本计算模型；在该模型的基础上，根据负载中数据流行程度动态改变Map子任务的副本数目；对于访问次数较多，访问较频繁的热数据，通过增加其副本数目以减少文件抢夺和网络的带宽资源竞争，使其计算成本与计算时间达到最优；对于访问次数较少，访问较不频繁的冷数据，通过减少其副本数目以降低副本的创建与存储成本，使其计算成本与计算时间达到最优。利用本发明，云计算用户能够有效的减小资源使用成本，并能以更加高效的方式保证作业计算结果的可靠性与完整性。