基于Hadoop的上网日志目的IP统计及路由优化

摘要

网络的高速发展以及大数据时代的来临，催生了海量网络流量数据的处理需求。对网络流量进行有效、深入的分析，实现对网络流量的有力监管，需要针对骨干网进行网络流量日志的高效采集和分析处理。对网络流量日志的统计分析，可以深入了解网络的运行及使用状况，以调整策略提高网络质量；对网络流量日志的深入挖掘分析，可以发现用户上网特点及偏好，以深入了解用户需求、高效服务，提高用户满意度。为此，本文对网络流量日志的处理技术进行研究。
　　本文首先阐述基于Hadoop的校园网流量日志目的IP统计的研究背景及研究意义，综述国内外研究现状，概述本文的主要工作和主要创新点。
　　随后，论文研究了关键技术Hadoop的技术演进路线、Hadoop技术的生态系统及关键分布式文件存储系统HDFS、分布式计算框架MapReduce。在Hadoop技术的基础上，详细描述校园网网络流量日志的目的IP统计分析过程及实现方法，包括Hadoop搭建及配置、校园网用户上网日志原始数据文件预处理、Hadoop完全分布式集群下的Map函数和Reduce函数的实现，最终得到目的IP统计结果，并设计网络优化方案，在某高校的实际校园网环境中实施了网络优化方案，根据方案调整了路由表，明显降低了网络延迟值，验证了优化后的网络提升效果。
　　实验结果表明，本文所设计的基于Hadoop的完全分布式集群的校园网流量日志目的IP统计优化网络方案，在一定程度上改善了网络质量，提升了校园网用户的上网体验，具有良好的应用效果。

目录

第一章 绪论

1.1课题的提出和研究意义

1.2国内外研究现状及分析

1.3本文的主要工作

1.4论文组织结构

1.5本章小结

第二章 关键技术综述及分析

2.1 GFS分布式文件系统

2.2 Hadoop生态系统

2.3分布式文件存储系统 HDFS

2.4分布式计算框架 MapReduce

2.5本章小结

第三章 环境准备与原始数据获取

3.1 Hadoop集群搭建及配置

3.2原始数据文件预处理

3.3本章小结

第四章 目的 IP 统计

4.1海量数据分布式处理设计

4.2 Hadoop集群处理结果提取

4.3本章小结

第五章 校园网路由优化实施结果分析

5.1校园网网络现状分析

5.2高频次目的 IP分类及路由优化

5.3校园网路由优化实施

5.4校园网客户侧优化效果

5.5本章小结

结论

本文结论

展望

参考文献

声明

致谢