基于Hadoop的百度游戏数据平台的设计与实现

摘要

百度游戏数据平台是百度游戏事业部的基础数据平台，主要实现百度游戏事业部基础数据的抽取、计算、统计、展示等功能。百度游戏事业部自成立以来不断发展壮大，取得了令人瞩目的成绩。随着部门平台的不断增加、数据量的不断增长、数据类型的不断扩展，对数据统计和分析的需求不断加剧。数据蕴藏着巨大的价值，游戏玩家的注册、登录和付费等数据可以为部门的决策和战略提供依据。基于此种情况，提出了百度游戏数据平台的设计与开发需求，计划建设一个基于维度模型的大数据多维分析系统，希望能够满足市场运营人员的各项数据统计需求，提供及时、准确、全面、多维度的数据统计功能。由于基础数据来源复杂、数量庞大，本项目利用Hadoop分布式架构，提供一个完整的数据解决方案。
　　项目从数据流上可划分成两大部分，基于Hadoop的基础数据系统和基于J2EE（Java2 Platform Enterprise Edition，Java2平台企业版）的数据平台系统。其中，基础数据系统利用 Hadoop的计算能力，完成数据ETL（Extraction-Transformation-Loading，数据提取、转换和加载）和数据维度计算;数据平台系统根据数据报表需求，实现数据计算、存储和查询、展现功能，并实现了定制报表、定时任务配置和多层级覆盖的权限管理等特色功能。数据平台包括六个部分:今日概况、定制报告、市场推广、运营统计、配置管理和配置常用报表，每个部分根据需求又细分为各个子模块。本文论述了百度游戏数据平台的需求分析、架构设计以及详细设计和最终实现。
　　通过对系统的需求分析与设计，本人参与设计和开发了基础数据的ETL模块和数据平台定制报告模块，并独立完成了数据平台的今日概况、任务调度管理、用户管理、角色管理、权限管理、主力游戏管理和游戏分组管理模块的设计和开发。目前系统已经上线投入使用，提供了灵活多样的数据报表查询功能，覆盖了部门85％以上的数据需求，极大地提高了数据反馈效率，并释放了数据人力，获得了部门领导和同事的一致好评。

目录

声明

致谢

摘要

1 引言

1．1 选题背景

1．2 研究内容和意义

1．3 建设目标

1．4 关键问题与技术难点

1．5 论文组织结构

2 百度游戏数据平台相关技术综述

2．1 Hadoop

2．1．1 HDFS

2．1．2 MapReduce

2．2 Hive

2．3 J2EE

2．4 Quartz

2．5 本章小结

3 百度游戏数据平台需求分析

3．1 今日概况

3．2 定制报告

3．3 市场推广

3．4 运营统计

3．5 配置管理

3．6 配置常用报表

3．7 非功能性需求

3．8 本章小结

4 百度游戏数据平台架构设计

4．1 系统总体架构设计

4．2 系统数据流程设计

4．3 数据库主要表设计

4．3．1 Hive表

4．3．2 MySQL表

4．4 数据平台系统架构

4．4．1 系统分层设计

4．4．2 功能架构

4．5 基础数据系统架构

4．6 系统环境

4．6．1 数据规模估计

4．6．2 相关软件及硬件

4．7 本章小结

5 百度游戏数据平台详细设计及实现

5．1 数据平台今日概况模块

5．1．1 今日概况流程设计

5．1．2 今日概况类设计

5．1．3 今日概况时序设计

5．1．4 今日概况实现效果

5．2 数据平台定制报告模块

5．2．1 定制报告流程设计

5．2．2 定制报告类设计

5．2．3 定制报告时序设计

5．2．4 定制报告实现效果

5．3 数据平台任务调度管理模块

5．3．1 任务调度管理流程设计

5．3．2 任务调度管理类设计

5．3．3 任务调度管理时序设计

5．3．4 任务调度管理实现效果

5．4 数据平台用户管理模块

5．4．1 用户管理流程设计

5．4．2 用户管理类设计

5．4．3 用户管理时序设计

5．4．4 用户管理实现效果

5．5 数据平台角色管理模块

5．5．1 角色管理流程设计

5．5．2 角色管理类设计

5．5．3 角色管理时序设计

5．5．4 角色管理实现效果

5．6 数据平台权限管理模块

5．6．1 权限管理流程设计

5．6．2 权限管理类设计

5．6．3 权限管理时序设计

5．6．4 权限管理实现效果

5．7 数据平台主力游戏管理模块

5．7．1 主力游戏管理流程设计

5．7．2 主力游戏管理类设计

5．7．3 主力游戏管理时序设计

5．7．4 主力游戏管理实现效果

5．8 数据平台游戏分组管理模块

5．8．1 游戏分组管理流程设计

5．8．2 游戏分组管理类设计

5．8．3 游戏分组管理时序设计

5．8．4 游戏分组管理实现效果

5．9 基础数据ETL模块

5．9．1 旧系统问题

5．9．2 ETL功能描述

5．10 本章小结

6 百度游戏数据平台系统测试与效果验证

6．1 系统测试

6．2 验证性结果分析

7 百度游戏数据平台结论与展望

7．1 项目结论

7．2 未来展望

参考文献

作者简历及攻读硕士／博士学位期间取得的研究成果

学位论文数据集