基于Hadoop和Hive海量数据计算的店铺统计系统

摘要

店铺统计系统是为淘宝网店卖家用户所打造的专业店铺数据统计系统，该课题的研究目的是，通过研究用户的浏览行为、卖家的销售情况，以及卖家的广告投入情况来为卖家做数据分析。通过店铺统计系统，卖家可以查看到每一阶段到你店铺里的客人的多少，一天或者多天的同行业支付宝的成交量对比，直通车广告效果数据等等。依靠这些数据，卖家可以掌握店铺里的实际销售情况，及时调整店铺里的商品，使自己的店铺能够吸引到更多的买家，获得更大的收益。
　　店铺统计系统其根本是一个数据展现的系统，在淘宝网的数据平台中有海量的基础数据，这些海量的数据是无法用Mysql或者Oracle进行计算。我们依托与Hadoop和Hive进行数据计算，利用最基础的数据来计算出利于卖家分析店铺的数据指标，通过这些数据任务的调度系统，以及对这个分布式系统的监控系统，再把这些数据装载到Mysql中，供前端页面展现使用。
　　本课题研究的主要内容是对于淘宝网海量的基础数据，利用Hadoop进行计算，用Hive和Map/Reduce编程思想来进行海量数据的计算，从而解决了传统 Mysql或者 Oracle无法解决的海量数据的计算问题。使用敏捷开发的理论思想，从海量数据和一些日志信息挖掘出有用的数据，为卖家提供数据经营分析的指标，为卖家营销指明方向。全面降低数据作为生产要素的成本，建立卖家数据化运营思维模式，成为淘宝的核心竞争力。
　　本系统已经正式用于卖家的数据分析，从店铺浏览量，销售分析，热图和直通车广告的效果来为卖家进行数据指导，该系统是基于淘宝网的数据分析，目前已为广大卖家所使用，成为首选的数据分析工具。

目录

基于Hadoop和Hive海量数据计算的店铺统计系统

HADOOOP AND HIVE MASS DATA CALCULATION FOR THE SHOP STATISTICAL SYSTEM

摘 要

Abstract

目 录

第1章 绪 论

1.1 课题的背景及研究目的

1.2与本课题有关的国内外相关技术

1.3与本课题有关的国内外研究状况

1.4 本论文的主要研究内容

第2章 店铺统计系统的需求分析及总体设计

2.1 需求分析

2.2 店铺统计系统的总体设计

2.3 系统开发以及运行环境

2.4 店铺统计系统Hadoop数据计算的部署

2.5 本章小结

第3章 店铺统计系统Hadoop和Hive数据计算的实现

3.1店铺统计系统Hadoop和Hive数据计算的文件管理

3.2 店铺统计系统Hadoop和Hive数据计算的任务流程配置

3.3 热图功能模块的实现

3.4 流量分析功能模块的实现

3.5 销售分析功能模块的实现

3.6 直通车功能模块的实现

3.7 店铺统计系统Hadoop和Hive数据计算的任务调度

3.8 本章小结

第4章 店铺统计系统数据计算的测试

4.1 店铺统计系统数据计算的测试环境

4.2 店铺统计系统数据计算的测试

4.3 本章小结

结 论

参考文献

哈尔滨工业大学学位论文原创性声明及使用授权说明