The Log Collection and Statistics System Based on Flume

摘要

随着计算机技术和互联网技术的快速发展，网站的规模以及数据正以指数级形式飞速增长，电子商务网站每天需要处理的日志信息多达几terabyte。然而，作为致力于网络的企业而言，web日志正是他们一笔宝贵的财富，企业可以从日志信息中统计出在线产品的客户数量，以及客户喜好，这样便可以更好为公司了解自己产品的不足，有利于制定更有效的方针和政策，进而提高公司的效益。因此，如何应对海量的web日志进行收集统计，已经成为国内外企业都特别关注的一个课题。 在分布式计算如此火热的背景下，本文针对海量web日志收集统计问题设计开发了一套数据收集统计系统DCSS（DataCollectionandStatistics...