优化MapReduce计算的方法、装置、设备和计算机存储介质

摘要

本发明提供了一种优化MapReduce计算的方法、装置、设备和计算机存储介质，其中所述方法包括：在各Map任务全部运行完毕之后，获取各Reduce任务需要处理的数据量；根据所述各Reduce任务需要处理的数据量，按照数据量从大到小的顺序对各Reduce任务进行排序；根据排序结果依次启动各Reduce任务，在各Reduce任务全部运行完毕后完成MapReduce计算。本发明能够缩短MapReduce计算的运行时间、提高MapReduce计算的运行效率。