基于内存的MapReduce引擎数据处理方法和装置

摘要

本发明揭示了一种基于内存的MapReduce引擎数据处理方法和装置，其中方法包括：将每个分区的Map输出结果数据进行粒度切割，并将切割后的粒度进行排序；将每个分区切割后的粒度进行多批次shuffle,并将各批次的数据依次进行拷贝、合并和reduce的流水线式数据处理，将reduce进程处理的数据控制在内存中。本发明通过纯软件方式对MapReduce的reduce进程进行流水线化设计，极大地减少了IO的访问与延迟；还可以根据可用内存的多少来调节并发批次的数目，从而提高了mapreduce引擎的吞吐量与整体性能，实测结果是原来的1.6倍‑2倍以上。