基于Spark的大数据网络日志采集分析和预警的方法、系统

摘要

本发明提供了一种基于Spark的大数据网络日志采集分析和预警的方法、系统，包括：日志原始文件获取模块(101)：采集日志原始文件；日志采集模块(102)：根据所述日志原始文件获得日志数据；日志存储模块(103)：存储日志数据；数据逻辑处理模块(104)：进行日志数据分析和并行计算，得到日志分析结果；分析结果存储模块(105)：存储日志分析结果；可视化展示和预警模块(106)：读取所述日志分析结果，展示所述日志分析结果或/和发出运维预警提示。本发明将实时处理和离线处理相结合，能够方便的对本网站相关信息快速分析和预警，避免花大量时间去寻找故障点，提高了运营效率，保障了网站的稳定和安全。