一种基于分布式架构的多源异构数据融合执行引擎

摘要

本发明公开了一种基于分布式架构的多源异构数据融合执行引擎，属于大数据处理技术领域。本发明的基于分布式架构的多源异构数据融合执行引擎包括调度节点和执行节点，调度节点接收到客户端提交的任务，放入待切分队列，当调度节点的巡检服务检测到待切分队列有任务时，切分任务为分片任务集合，将分片任务放入待启动队列，当调度节点的巡检服务检测到待启动队列分片任务数大于0时，查看执行中队列的分片任务数是否小于支持的阈值，如果小于阈值，将分片任务从待启动队列移动到执行中队列等待执行节点申领任务。该发明的基于分布式架构的多源异构数据融合执行引擎具有高性能、高容错、多源化，具有很好的推广应用价值。