一种大数据日志归一化方法及工具

摘要

本发明提供了一种大数据日志归一化方法，包括：采集阶段获取源日志数据信息并缓存；预处理阶段定义模板；归一化阶段，将源日志数据进行分割过滤，然后按照预设的标注模板进行转换，生成统一归一化日志数据；整合阶段，对归一化的日志数据进行保存维护。一种大数据日志归一化工具，包括：采集单元，获取源日志数据信息并缓存；预处理单元，定义处理模板，将所述源日志数据进行处理，生成有特定含义数据字段；归一化单元，对所述有特定含义的数据字段按照预设标注模板重新分类转换，生成格式统一的归一化日志数据；整合单元，对归一化的日志数据进行保存和维护。本发明提供的方案可以将多样化数据格式统一化，使得数据的挖掘效率更高，性能提升。