网站流量统计系统的设计与实现

摘要

移动互联网技术的飞速进步，数据流量费用的降低和高速光纤电缆的全方位覆盖，全球已处于高速信息化时代。人们使用各类终端设备与互联网交互，实现社交、学习、购物等行为，这一系列交互过程都会产生大量的日志数据。通过对这些杂乱无序的日志信息进行分析、挖掘处理，可以让我们更准确的获取用户偏好、分析用户行为、用户访问习惯等，为互联网企业的发展方向提供参考。如何从网站流量日志数据获取更多的价值信息，是互联网企业亟待解决的问题。从这一点出发，提出了大数据背景下基于Hadoop大数据平台下网站流量统计系统，采用分布式并行计算编程框架，有效的提高了数据处理能力。
　　系统采用Hadoop大数据解决方案完成网站流量日志数据存储和数据处理需求。在软件层次结构分为三层：数据存储层、数据处理层和数据展现层。数据存储层包含HDFS和PostGreSQL。其中HDFS负责流量日志数据存储，它与分布式并行计算框架MapReduce交互完成流量日志数据的处理；PostGreSQL为Web报表展现层的数据库。为满足复杂多变的需求，数据处理层采用数据仓库工具Hive实现业务逻辑处理。系统功能模块分为数据迁移模块、数据逻辑处理模块和Web报表展现模块。通过数据迁移功能模块，实现了数据生成、数据处理、数据查询服务器三者相对独立的设计思想。通过数据逻辑处理功能模块，实现了网站流量数据在不同数据维度下的IP数、浏览数PV、访客数UV、会话数Visits的统计。通过Web报表展现功能模块，将统计数据展现给数据分析人员。
　　系统通过Hadoop大数据处理技术，大大提升了流量日志数据处理效率；数据查询数据库独立于其他数据库的设计，大大提升了Web端的数据查询效率。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 论文课题研究背景

1.2 课题研究目的与意义

1.3 课题研究的国内外发展概况

1.4 本文研究工作与论文结构

2 网站流量统计系统需求分析

2.1 系统功能需求分析

2.2 系统性能需求分析

2.3 本章小结

3 网站流量统计系统设计

3.1 系统总体设计

3.2 系统各功能模块设计

3.3 数据库的设计

3.4 本章小结

4 网站流量统计系统实现

4.1 系统软硬件环境与开发工具选定

4.2 系统各功能模块实现

4.3 本章小结

5 网站流量统计系统测试

5.1 功能测试

5.2 性能测试

5.3 测试结果分析

5.4 本章小结

6 总结与展望

6.1 全文总结

6.2 展望

致谢

参考文献