基于Hadoop下利用Hive进行网络日志存储和分析

摘要

随着网络应用的普及和网络的深入发展,网络上传输的数据量越来越大,在网络安全管理方面要求越来越严格,如何有效的存储、查询、分析海量的网络日志就成了网络安全管理方面的新挑战。云计算技术的完善和普及,为解决这类问题提供了新的方法,云计算机就是通过网络系统将多台计算机组成一个分布式系统,从而完成海量数据的存储和计算。Hadoop是一个用于构建云计算机平台的开源系统,为了存储和分析这些海量的数据,可以利用Hadoop分布系统下对网络日志的存储、查询、分析,通过该系统的应用可以节约存储成本、提高查询效率,为网络的安全管理、网络优化提供数据支持。