一种普适多源异构大规模数据同步系统

摘要

本发明提供一种普适多源异构大规模数据系统，包括同步网络规划管理单元、安装配置单元、分块流水线处理单元、单向同步单元、双向同步单元和同步正确性保障单元。该系统工作在节点数据库层之上和应用逻辑层之下的中间层面。在数据同步过程，客户端根据同步任务计划，将捕获的当地变更信息传输到服务端；服务端接收变更信息并交由异步并行消息处理机制存储在对应的消息队列中；服务端轮询当地消息队列读取待处理的变更信息，然后根据异构数据映射规则实施后继数据变更，以维护源数据副本与目标数据副本同步数据的一致。本发明的系统以并行于同步节点当地应用的方式独立运行，并通过松耦合协同提供互联网分布式多源异构数据同步的松弛事务保障机制。