一种MongoDB和ClickHouse的数据同步方法

摘要

本发明公开了一种MongoDB和ClickHouse的数据同步方法，它涉及数据同步技术领域。设计、编写同步所需的表级注解和字段级注解，将注解标记到需同步的MongoDB数据表实体和属性，启动后自动扫描收集所有数据实体类，通过数据实体类的表级注解和所有标记了字段级注解的属性，解析生成ClickHouse建表语句和ClickHouse同MongoDB的数据映射关系，并将解析数据缓存到ClickHouseManager管理器，最终通过统一的调度器生成空的ClickHouse数据表，实时载入MongoDB数据，利用缓存信息进行数据解析、转换、同步。