一种大数据处理流程的执行计划生成方法

摘要

本发明实施例公开了一种大数据处理流程的执行计划生成方法，包括如下步骤：对每个数据采集终端匹配独立且唯一的数据传输路径；数据流以队列方式顺次通过数据传输路径进行数据预处理，定义字符串Data_ID参数统计通过数据传输路径的数据流数量；定义每个预处理流程的序号Manage_ID，数据流每通过一个处理流程，则数据流上新增表示处理流程序号的Manage_ID属性；对数据流的Manage_ID检测，判断数据处理的正确流程；每个数据流的独立数据上新增传输路径Port_ID属性和队列序号Data_ID属性；本方案既保证大数据处理过程中的统一性，又提供了大数据处理过程中的对比关联性。