一种通过高速内存、分布式处理海量日志的系统及方法

摘要

一种通过高速内存、分布式处理海量日志的系统和方法，该系统由多个日志产生设备和一个日志管理服务器所组成：日志产生设备散置于各个网元中，用于将各种原始日志进行格式归一化后，再缓存于高速内存组件，并周期地上传至日志管理服务器；日志产生设备设有三个部件：原始日志产生模块、日志预处理模块和高速内存组件。日志管理服务器负责将分布于各日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储，以供其他系统查询与分析日志。本发明能够高效、低成本、实时处理多种类型日志，可扩展性和可实施性均较好。与采用关系型数据库存储日志相比较，降低处理成本，还解决了大数据量的数据库瓶颈问题，提高了查询与分析日志的效率。