一种基于Hadoop云平台的海量数据比对方法及系统

摘要

本发明涉及一种基于Hadoop云平台的海量数据比对方法和系统，所述方法包括：步骤1，将海量数据按区间标尺切分为若干份，并利用云比较引擎对每份数据进行排序，输出对应数量的内部有序的文件至基于Hadoop云平台的分布式文件系统中,作为源数据比对文件；步骤2，当有比对任务时,分布式文件系统通过其主任务节点来调度和控制其余任务节点执行任务文件；步骤3，每个任务节点找出其要执行的任务文件,与源数据比对文件进行比对,将比对的文件中的相同记录放至同一个文件中,将差异记录放到设定的差异文件中；步骤4,各任务节点完成文件比对后,主任务节点对各任务节点的比对结果进行合并和输出。本发明提高了海量数据一致性比对的效率。