电商流量大数据处理系统设计与开发

摘要

计算机技术的发展和互联网的日益普及，使得电子商务飞速发展，电商企业不断涌现，用户数量成倍增加，导致电商网站的多源流量数据也随之快速攀升。传统的电商流量数据处理方式存储数据量有限，支持的数据源格式少，亟需引入现代化的电商流量大数据处理系统，以满足企业流量数据处理的需求。论文基于Hadoop技术和Elasticsearch技术，设计并开发电商流量大数据处理系统，实现海量电商流量原始数据的快速提取、转化、加载和管理，最终计算得到电商网站的页面点击量、独立访客数、页面转化率、页面跳出率、页面导出率等流量指标。论文主要工作如下：
　　1.在文献查阅的基础上，综述了论文研究背景与意义，以及电商流量数据处理的国内外现状，详细介绍Elasticsearch中的搜索引擎Lucene和分布式存储技术、ETL技术中的分布式文件存储系统 HDFS和编程模型 MapReduce以及开源框架 SpringMVC、Spring和Mybatis技术。
　　2.从市场需求、社会经济效益、功能需求等方面对系统进行总体分析，基于原始数据ETL模块和流量统计服务模块的详细需求分析，设计系统的数据导入、数据ETL、数据管理和参数统计四个功能模块，并详细介绍了各个模块的功能。
　　3.原始数据 ETL系统采用 Hadoop集群中的分布式文件系统 HDFS存储数据，采用MapReduce编程模型处理流量数据，同时支持Oracle、MySql和PostgreSql等关系型数据库、数据接口以及其它类型的原始数据源的处理。
　　4.流量统计服务系统采用Elasticsearch集群作为流量数据源，可根据需要进行集群扩容，采用Oracle数据库存储系统常规数据，采用SSM框架搭建系统后台，采用Bootstrap、Jquery和Ajax等技术进行前端开发。
　　5.原始数据 ETL系统实现原始流量数据的提取、处理和管理，以及将处理后的流量数据导入到 Elasticsearch集群中；流量统计服务系统基于 Elasticsearch集群中的流量数据和Oracle数据库中的常规数据实现了多种流量参数的统计，同时实现了人员管理、流量报警和定时邮件等常用功能。
　　目前，电商流量大数据处理系统已经在国内某著名大型电商企业投入运营，系统运行稳定、反应良好。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 研究背景和意义

1.2 国内外研究现状

1.3 论文的主要内容

1.4 论文的组织结构

第2章 系统实现关键技术

2.1 开源Elasticsearch搜索技术

2.2 ETL技术

2.3 J2EE框架

第3章 系统需求分析

3.1 市场需求分析

3.2 系统可行性分析

3.3 系统需求

3.4 系统功能设计

第4章 电商流量大数据处理系统设计

4.1 系统网络拓扑结构

4.2 系统层次结构

4.3 系统数据库设计

4.4 主要功能概要设计

第5章 电商流量数据处理系统的实现

5.1 系统开发平台

5.2 原始数据ETL系统的实现

5.3 流量统计服务系统的实现

第6章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

攻读学位期间参加的科研项目和成果