基于Hadoop的分布式日志分析系统

摘要

就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统。通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据。通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件系统为基底的虚拟机担当Slaves的两种分布式集群环境,并对两者性能做了详细的对比和分析。