基于Hadoop集群的大数据新闻可视化平台的设计

摘要

本文设计了一种基于Hadoop高可用集群的大数据新闻可视化平台。搭建Hadoop高可用集群并部署相关服务之后采用分布式爬虫采集数据,通过SparkStreaming完成对实时流数据的处理,最后使用百度Sugar实现了热点新闻数据的可视化,经测试系统稳定,能够在较短时间内处理海量新闻数据。以此为基础还构建了一个新闻语料库,可以为日后的机器学习、语料库研究提供数据支撑。