基于Hadoop的海量网络日志处理的研究

摘要

海量的网络设备日志中蕴含了大量的有价值的信息,传统的数据处理方法难以满足处理海量数据的需求,云计算平台Hadoop能有效地处理海量数据.研究并构建了一个基于Hadoop和Hive的海量网络设备日志存储和处理系统,其对海量网络设备日志进行结构化预处理、统一存储,并提供在线检索功能,实现了网络地址溯源,丰富了网络管理员的网络管理手段.