电商用户行为大数据平台的构建与优化

摘要

项目数据来源于互联网电商网站的用户行为数据,包括访问行为、购物行为、广告点击行为等数据,对上述行为数据采用离线计算和实时计算方式,以期通过大数据技术提升公司效益,并根据行为数据分析结果改进产品设计,涉及的大数据技术包括Spark技术生态栈中的Spark Core、Spark SQL、Spark Streaming 3大技术框架,业务模块主要包括用户分析、转化率统计、热门商品离线统计、广告流量实时统计,提出了系统性能调优、troubleshooting以及数据倾斜处理的解决思路。