一种基于管道的新式调度算法的分布式数据治理系统

摘要

本发明涉及数据治理技术领域，具体地说，涉及一种基于管道的新式调度算法的分布式数据治理系统。包括基础架构单元、管道调度单元、统一服务单元和数据管理单元；基础架构单元用于管理支持系统运行的网络架构；管道调度单元用于管理进程间通信管道的调度；统一服务单元用于对数据的统一标准化管理；数据管理单元用于对数据进行全面治理。本发明设计可以实现分布式的数据治理，提高系统的融合度、增强系统的延展性；可以提高数据交换过程的传输效果，提高数据的完整性和安全性；通过对数据进行集中的调度管理，其架构便于对系统进行节点扩展，可支持大用户高并发的访问，并可以实现数据全生命周期的可视化管理，缩短数据管理周期，减少成本浪费。