一种基于Flink流计算技术的多源异构数据实时处理系统及方法

摘要

本发明公开了一种基于Flink流计算技术的多源异构数据实时处理系统及方法，该系统包括：数据采集侧，通过日志方式和/或SDK方式和/或MQ方式获取分散在多个系统组件中的异构数据，经初步处理后以连续流的方式发送给Kafka；任务管理平台侧，配置数据源类型、配置异构数据的清洗和切分规则以及配置数据集的维度和指标，并于所有配置完成后基于Flink流计算技术启动数据实时处理任务，于数据实时计算后根据数据集定义存储；数据展现和输出侧，获取数据集的结果输出，本发明可对现有业务系统中输出的多种来源不同结构的数据进行分析，找到日志事件和业务之间的相关性，以帮助运维人员提高效率，为现有的业务分析系统提供补充。