基于上网日志大数据的数据挖掘及可视化研究

摘要

随着信息技术和互联网技术的高速发展，人们利用信息化的程度越来越高，并在信息化的过程中产生了大量的结构化和非结构的数据信息。如何采集、存储、分析大量的数据化信息成为人们研究的热点之一。互联网商业巨头Google公司在2004年率先提出如何处理大规模数据的分布式计算框架，之后开源的分布式Hadoop技术应运而生。利用分布式存储计算框架Hadoop平台处理各种形式的大数据成为业界的主流技术。目前，我们国家通信运营商每天都会产生大量的、各种各样的日志数据，如何能够有效的加以利用，是个造福社会的大工程。
　　本文针对我们所拥有某市一个月的移动用户的微信上网日志进行大数据处理及分析。我们采用了数据挖掘中经典的K-means算法进行了时间聚类，将用户的上网时间分为了4类，对用户在各个时段的上网习惯进行了聚类。实验主要运用Hadoop集群的MapReduce计算框架在多维度上进行需求机能测试，对各种需求情况进行深度研究的应用实验，并综合分析各维度的结果，在此结果上分析出上网用户的业务偏好、上网时段的偏好、人流的迁徙等，除此之外还对较大事件的交通及人群的疏导，起到事前预警的作用。
　　同时，论文还针对基站位置数据的分析、基于公众事件的数据分析、基于群体迁徙的数据分析，将预先处理好的数据结果进行可视化，从可视化的结果中，可以在上述三方面的应用中发现人流量的一个大致变化,能够归结出基于特定群体性事件大家的出行规律，通过交通提前疏导和限行，能够有效防止出现交通拥堵，同时对群众出行的时段也能够提供有效的建议。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景及意义

1.2国内外研究现状

1.3 论文的组织结构

第二章 大数据平台及可视化技术研究

2.1 Hadoop系统介绍

2.2 可视化技术概述

2.3 可视化技术简介

2.4 本章小结

第三章 数据挖掘算法

3.1 数据挖掘技术

3.2数据挖掘常用算法

3.3 K-means算法应用及可视化

3.4 聚类效果展示

3.5本章小结

第四章 基于移动设备的基站日志系统的设计与实现

4.1大数据平台的总体设计

4.2实验环境的配置及部署

4.3 数据处理

4.4 本章小结

第五章 数据可视化实现

5.1 基站位置数据的分析及可视化

5.2 基于公众事件的数据分析及可视化

5.3 基于群体迁徙的数据分析及可视化

5.4本章小结

第六章 总结和展望

6.1 总结

6.2 展望

致谢

参考文献

附录