基于ClickHouse实现OLAP分析的方法、装置

摘要

本发明提供一种基于ClickHouse实现OLAP分析的方法、装置，所述方法包括：通过ClickHouse的kafka引擎表实时接收kafak数据；对kafak数据进行数据分区；对分区进行TTL管理；进行数据分片；主键索引；生成动态代码。本发明通过ClickHouse的kafka引擎表实时接收kafak数据，以数据库的方式进行大数据处理，更加简单易用，且维护简单、查询速度快，通过对数据分区TTL管理，解决了数据存储资源的浪具，通过数据分片，增加集群的大规模并行计算能力，快速返回查询结果，并且可以横向线性拓展，构建大规模分布式集群，从而具备处理海量数据的能力。