一种通用分布式异构数据同步系统设计与实现

摘要

大型集团型企业的数据往往分布在各个异构环境中，但业务需求又要求企业进行数据的交换和同步，分布异构数据集成是企业业务与服务整合的关键支撑技术。由于应用平台和数据模式各不相同，传统数据同步方式多针对每一种数据同步模式开发一种系统，缺乏统一的数据同步框架。针对这一问题，论文设计实现一种通用的数据同步框架。
　　论文主要介绍一种分布式异构数据同步系统JTangSync的设计与实现方案。系统采用分布式架构，每个节点由数据源模块、数据传输模块、处理器模块等组织而成，数据源模块负责提取数据，数据传输模块主要负责数据的高效传输，处理器模块负责数据的处理。更重要的是每个模块均设计为可替换插件形式，方便进行二次扩展。各个节点依赖zookeeper组成集群，实现了分布式资源的集中管理和故障转移、断点续传等分布式功能。
　　与现有数据库同步系统相比，JTangSync系统内置多种异构数据库数据源，支持复杂异构数据库同步;支持用户开发和定制自己的数据源和数据处理程序，方便进行二次开发;通过采用自定义压缩数据交换格式和包合并、缓存、自适应压缩算法等网络优化方法，使得系统具有较高性能;借助zookeeper这个分布式协调系统，系统实现了分布式系统的故障转移、断点续传等功能，提供了较好的可靠性。