基于Hadoop的Web日志分析系统设计

摘要

电子商务网站在运行过程中会产生海量的访问日志数据,通过分析Web日志可以获取有价值的信息,并为网站运营提供决策支持.针对传统日志分析系统处理大数据能力不足的问题,本文提出基于Hadoop分布式平台的日志分析系统,充分利用HDFS分布式存储能力和MapReduce并行计算能力实现日志向点击流数据处理,借助Hive数据仓库实现日志分析.