基于flink的高效同步实时数据到ClickHouse的方法及装置

摘要

本发明公开了一种基于flink的高效同步实时数据到ClickHouse的方法及装置，本申请的查询ClickHouse集群中所有分片的链接列表，基于预设分片规则，从链接列表中查找对应分片的机器，将变化数据写入对应分片的机器的本地表中。现有的flink不支持按照分片规则写入本地表的方式，数据写入到分布式表再同步到本地表存在很大的性能问题。本发明提供了直接将数据写入本地表的技术手段，而避免通过分布式表再写入本地表中，写入速度极大提升，且不存在数据一致性的问题。