一种基于Flume的解析半结构化文本文件的数据的方法

摘要

本发明公开了一种基于Flume的解析半结构化文本文件的数据的方法，所述方法采用Flume的spooldir采集文件数据时，根据业务规则读取一条业务数据，对每条业务数据进行解析转换，通过新建Flume事件序列化类，实现Flume接口EventDeserializer，在该类中按照Flume的conf文件配置的规则读取半结构化文本文件的每条数据，针对每条数据，再按照Flume的conf文件配置的数据解析规则类进行解析转换，最终输出符合业务需要的一条数据。本发明能够最大可能地复用，减少开发工作量，普遍适用于采用Flume采集、解析转换半结构化文本文件数据的场景。