基于Hadoop和Django的电商用户画像系统

摘要

近些年，数据科学和大数据的概念被媒体炒得热火朝天，数据不限于互联网产生的数据，金融、医疗、制药、政府、零售行业等行业都会产生大量的数据，数据在各行各业的影响力与日俱增。人们的日常行为也被数据化了，网络购物、通信、浏览新闻、搜索信息、评论都会被记录下来，我们可以依赖于充足且廉价的计算能力深入研究人类的行为，更好的认知人类自身。用户画像，即用户信息标签化、数据化。企业通过收集研究消费者静态信息数据和动态行为数据，抽象出用户的商业全貌帮助企业定位目标人群以及满足各类用户需求。随着电子商务市场的不断增加，各大电子商务网站把用户价值和数据驱动都列为公司的价值观。传统的用户画像过多的依赖于客观和过往的经验，因此需要一个操作简单但是功能强大的用户画像系统让用户分析平台化简单化、智能化，让平时累积的数据为电子商务公司带来实际的价值。 本文从电商运营分析员工的角度出发，结合企业生产环境中常用稳定的用户画像方案和架构，同时参照大数据环境下不断涌现的新兴技术和工具，提出将稳定架构与新兴技术相互结合来优化用户画像的方案，最后实现出的一套电商用户画像系统包含标签系统、指标看板、用户视图、极光平台、工作中心功能健全的软件系统。系统的前端展现使用了比较被欢迎的Bootstrap框架，使得页面布局合理清晰，同时使用了Ajax、jQuery、Echarts 等先进的前端技术进行数据的可视化。后端使用了高性能的 Django 开发框架，并结合Hadoop分布式计算框架存储计算电商用户使用网站的源数据包括静态信息数据、动态行为数据，使用MySQL数据库保存系统功能管理数据，而用户的属性标签、人群信息、业务统计数据使用MongoDB非关系型数据库存储，提供了高性能、高可靠的后台存储功能，从而构建出一套安全稳定性好、可扩展性高的用户画像系统。

目录

声明

第1章 绪论

1.1 研究背景

1.2 研究意义

1.3 国内外研究现状

1.4 本文研究工作与论文结构

第2章 相关技术技术介绍

2.1 Django开发框架

2.2 MTV设计模式

2.3 Hadoop分布式系统

2.4 Hive数据仓库

2.5 MySQL关系型数据库

2.6 MongoDB数据库

2.7 Bootstrap开发框架

第3章 需求分析

3.1 系统功能性需求分析

3.2 系统非功能性需求分析

第4章 系统设计

4.1 系统总体架构

4.2 系统功能模块设计

4.3 系统详细功能设计

4.4 数据库设计

第5章 系统实现

5.1 系统软硬件开发环境及开发工具选定

5.2 用户及管理员登录注册实现

5.3 管理员信息管理实现

5.4 权限管理模块功能实现

5.5 标签创建和查询模块实现

5.6 人群创建和洞察模块实现

5.7 核心数据概览模块实现

5.8 用户视图模块实现

5.9 推送模块的实现

第6章 用户画像系统的测试

6.1 测试方法

6.2 测试过程

6.3 测试结果

第7章 总结与展望

7.1 总结

7.2 展望

参考文献

致谢