实时海量日志收集处理系统的设计

摘要

在校园网用户爆炸式增长的今天,校园网运维任务越来越重.本文结合运维实际,提出了综合运用Apache Flume、Apache Kafka、Spark Streaming等大数据技术来实时处理海量的日志数据信息,并详细介绍了日志数据信息的收集、传输和处理过程.本系统可以实时、高效的收集来自于不同服务器的日志信息,并使用Spark Streaming和Spark core进行日志数据信息的实时在线和离线处理.