一种基于Flink状态的实时数仓建设方法

摘要

本发明公开了一种基于Flink状态的实时数仓建设方法，其特征在于，包括：步骤1：创建并初始化Flink状态，获取Kudu中各表的表名、字段和类型；步骤2：对Flink中的实时用户行为日志进行解析，将解析结果保存为json格式数据；步骤3：对于json格式数据，判断事件属性是否包含在当前的Flink状态中；步骤4：对解析后的数据做预处理，保存为json格式数据，并写入消息订阅系统；步骤5：订阅数据，将json格式数据完全展开，并将展开结果写入Kudu中。达到实时解析成结构化数据的效果，分发topic，落盘Kudu，实时增加日志中新的埋点字段，以供业务实时查看新增埋点数据情况，提高业务效率，发挥出数仓更大的价值。