基于Flume的日志收集统计系统

摘要

随着计算机技术和互联网技术的快速发展，网站的规模以及数据正以指数级形式飞速增长，电子商务网站每天需要处理的日志信息多达几terabyte。然而，作为致力于网络的企业而言，web日志正是他们一笔宝贵的财富，企业可以从日志信息中统计出在线产品的客户数量，以及客户喜好，这样便可以更好为公司了解自己产品的不足，有利于制定更有效的方针和政策，进而提高公司的效益。因此，如何应对海量的web日志进行收集统计，已经成为国内外企业都特别关注的一个课题。
　　 在分布式计算如此火热的背景下，本文针对海量web日志收集统计问题设计开发了一套数据收集统计系统DCSS(Data Collection and StatisticsSystem)。系统是通过日志发送端Flume Client来发送日志的，然后通过thrift协议连接Flume服务器，将日志文件发送到日志收集模块Flume Server，FlumeServer模块再以Flume框架特有的Source-Channel-Sink数据流将日志存储到分布式文件系统HDFS(Hadoop Distributed File System)，最后通过分布编程模型MapReduce对web日志进行必要的统计，根据日志所提供的信息统计出某独立用户在前端应用的某个页面操作的次数，统计用户行为上的不同表现，配置满足用户需求的web信息的内容和结构，提升软件产品的综合竞争力。
　　 本论文的主要工作如下:
　　 1)实现java编写的日志发送模块Flume Client，并将它封装成jar包，前端应用通过调用封装好的jar包来实现日志的发送。
　　 2)通过thrift协议完成日志发送模块Flume Client与日志收集模块Flume Server之间的连接。
　　 3)实现日志收集模块Flume Server对日志数据的收集。
　　 4)通过HDFS，MapReduce来实现数据的存储和统计。
　　 5)实现Flume Client模块的部分单元测试，以及系统的集成结果测试。

目录

声明

摘要

第一章 绪论

1．1 课题背景及意义

1．2 日志收集统计系统国内外研究现状

1．2．1 日志收集系统发展的现状

1．2．2 日志收集系统发展的趋势

1．3 课夏研究内容

1．4 论文的组织结构

第二章 Flume及相关技术介绍

2．1 Flume框架介绍

2．2 相关技术介绍

2．2．1 Thrift技术

2．2．2 HDFS技术

2．2．3 MapReduce技术

2．2．4 Junit测试技术

2．3 本章小结

第三章 DCSS平台需求分析

3．1 DCSS平台设计目标

3．2 DCSS平台功能需求

3．2．1 日志发送模块Flume Client的功能需求

3．2．2 日志收集模块Flume Server的功能需求

3．2．3 日志存储和统计模块SAcontroller的功能需求

3．3 DCSS平台运行环境需求

3．4 本章小结

第四章 DCSS平台的总体设计

4．1 DCSS平台总体架构设计

4．2 DCSS平台工作流程

4．2．1 前端调用Flume Client模块

4．2．2 Flume Server模块接收数据

4．2．3 Flume Server数据传输以及与HDFS的交互

4．2．4 SAcontroller模块存储和统计数据

4．3 本章小结

第五章 DCSS平台的具体实现

5．1 日志发送模块Flume Client的实现

5．1．1 Flume Client的架构设计

5．1．2 Flume Client的具体实现

5．1．3 Flume Client的参数设计

5．1．4 Flume Client的数据保护机制

5．1．5 Flume Client的工作流程

5．1．6 Flume Client与Flume sever的数据交互

5．2 日志收集模块Flume sever的实现

5．2．1 Flume Server的架构设计

5．2．2 Flume Server配置文件设计

5．2．3 Flume Server的具体实现

5．3 日志存储统计模块SAcontroller的实现

5．3．1 SAcontroller设计架构

5．3．2 SAcontroller中HDFS中web数据格式和目录结构

5．3．3 SAcontroller中数据统计模块实

5．4 本章小结

第六章 DCSS平台测试

6．1 测试环境和方案

6．2 Flume Client客户端测试

6．3 系统集成结果测试

6．4 本章小结

第七章 总结与展望

7．1 总结

7．2 问题与展望

附录

参考文献

致谢