一种基于hadoop提高kafka消费能力的方法

摘要

本发明公开了一种基于hadoop提高kafka消费能力的方法，使用Hadoop平台的MapReduce框架，在map阶段把消费任务分成若干个子任务，每个子任务记录自己的消费开始偏移量和结束偏移量，借助MR框架的失败重试等机制能最大限度的保证每次任务顺序完成，并记录整个任务的执行情况，全部子任务成功，整个消费才算成功，如果本次消费失败，下次消费从上次失败的消费偏移量开始消费。本发明将基于Hadoop的多任务分发及并行计算能力，多任务并行消费，并记录每个任务的消费情况，脱离了对现有分区服务的依赖，实现消费能力的大幅度提升。