一种基于Flink引擎的数据解析方法及装置

摘要

本发明公开了一种基于Flink引擎的数据解析方法及装置，该方法包括：通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；根据解析逻辑以及数据源信息生成解析器，并将解析器上传至分布式文件系统中；使用从分布式系统中获取的解析器对预先发送至Flink数据源的与数据源信息对应的待解析数据进行解析，生成解析数据。本发明通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能够对不同格式的待解析数据进行解析，满足多种业务场景，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性。