基于Hadoop的网站大数据分析系统设计

摘要

通过Python爬虫技术获取网站海量数据,使用分布式系统架构Hadoop与并行计算模型MapReduce,建立大数据计算分析平台。应用该方法,以住房网站为例,按照房价数据的信息格式进行爬虫算法设计,获取网站多维度数据,结合相关算法得出分析数据,采用ECharts对数据进行可视化绘制曲线,实现了对网站海量数据的爬取和大数据分析。