Hadoop网络日志分析系统性能优化算法研究

摘要

Hadoop作为一个分布式计算框架，是网络日志分析的主流工具之一。衍生的Hadoop系统从I/O性能、任务调度、MapReduce模型等方面提出了诸多缩短处理时间的解决方案，但它们在网络日志分析作业中对处理效率地提升仍不能满足变化的需求。在互联网公司和科研机构中计算机资源有限，网络日志分析的需求是不断增长和变化的，Hadoop网络日志分析系统往往会因日志数量增长而速度减慢，整个集群的吞吐率不断降低。
　　通过研究网络日志的内容特性、分析方法，以及Hadoop的计算框架等内容，本文提出了针对Hadoop网络日志分析系统的四种性能优化方案：合并作业以共享I/O，把相似作业合并以节省多次读取数据集的时间；小作业分组数据预取，以节省读取扫描额外数据集的时间；Reduce负载均衡，缩短Reduce阶段的处理时间；多个复杂模块联合调优，综合前三个方案以协调多个阶段累积节约处理时间。这四种优化方案在一些阶段节约了时间，理论计算表明这四种方案是可以在约定条件下实现总体处理时间缩短的性能提升目标。
　　实验结果表明，本文提出的策略可以有效提升Hadoop在网络日志分析系统的性能。整个Hadoop网络日志分析系统的性能提升在20％以上，优化效果与类似的优化算法或框架对比也有所提升。

目录

声明

1 绪论

1.2 国内外研究现状

1.3 研究内容与组织结构

2 Hadoop与网络日志分析作业相关技术介绍

2.2 Hadoop计算框架（MapReduce）

2.3 Hadoop网络日志分析作业介绍

2.4 本章小结

3 Hadoop网络日志分析系统性能优化算法研究

3.1 Hadoop网络日志分析系统性能分析

3.2 Hadoop网络日志分析系统性能评估模型

3.3 Hadoop网络日志分析系统优化算法设计

3.4 本章小结

4 Hadoop网络日志分析性能优化算法实现

4.1 Hadoop网络日志分析系统框图

4.2 优化方案实现

4.3 本章小结

5 优化方案性能测试与结果分析

5.3 测试方法

5.4 测试结果及分析

5.5 本章小结

6 总结与展望

6.2 研究展望

致谢

参考文献