基于Hadoop/hive架构的网络身份识别系统的设计与实现

摘要

随着人们对网络和通信的依赖日渐增长，维护网络信息的安全以及用户的合法权益日益重要。而网络的开放性、虚拟性和不确定性无疑给这项工作增加了一个不小的难题。网络身份的绑定成为必然。每个用户常见的网络、通讯行为有邮件通讯、微博发表、短信通讯以及电话通讯。每个用户在四个系统中分别对应一种身份，把四种身份绑定，确认用户的现实身份，使得网络社会和现实社会同样受到监督与保证，维持网络秩序。
　　由于数据源众多以及各个系统的用户繁多、操作频繁，每日产生TB级甚至PB级的海量数据，传统的关系数据库以及不能满足数据的存储分析处理的要求。本系统利用Hadoop/hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性，对用户的基础信息、特征行为等进行分析，在功能实现的基础上展现出数据处理很高的效率。
　　本文在实际系统开发的基础上，综述了一种基于Hadoop/hive架构的网络身份识别系统设计与实现的开发方案。将各个数据源的原始数据利用MapReduce进行层层清洗后，装载入一个新建的基于事件的数据仓库。随后，利用HiveQL语言，在专业工作流控制工具的控制下，根据用户要求完成数据的分析处理工作。最后，将数据分析结果展示给用户。
　　该系统的功能已经部分投入使用，经过实际验证，其各项性能指标均达到用户要求，有很高的实用价值。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景及意义

1.2国内外研究现状

1.3主要研究内容

1.4论文组织结构

第二章 本文技术基础

2.1 Hadoop

2.2 Hive

2.3 相关算法及关联规则

2.4本章小结

第三章 网络身份识别系统的设计

3.1需求分析

3.2架构设计

3.3本章小结

第四章 网络身份识别系统的实现

4.1系统存储模块实现

4.2系统分析模块实现

4.3系统数据展现模块实现

4.4系统调度

4.5本章小结

第五章 系统性能测试

5.1 Hadoop/hive环境配置

5.2系统运行结果分析

5.3本章小结

第六章 总结与展望

6.1本文小结

6.2工作展望

参考文献

致谢