一种用于海量日志分析预警的大数据处理系统

摘要

本发明专利公开了一种用于海量日志分析预警的大数据处理系统，涉及大数据分析处理技术，为解决及时发现系统中的异常信息，并对日志按业务统一分析而发明。系统包括客户端、服务端模块、计算模块、数据库模块、存储单元、监控子系统和拓展模块。系统采用多任务分布式技术对海量日志进行分析挖掘，应用日志模板提取、日志聚类、日志分类等分析方法，可以建立科学的分析模型，使得对日志的分析深度与事件的识别准确度得到提升。本发明主要应用于海量日志分析处理与实时预警的过程中。