基于Spark的大数据热图可视化方法研究

摘要

针对普通客户端浏览和分析大数据困难的问题,结合Spark和LOD技术,以热图为例提出一种面向大数据可视化技术框架.首先利用Spark平台分层并以瓦片为单位并行计算,然后将结果分布式存储在HDFS上,最后通过web服务器应用Ajax技术结合地理信息提供各种时空分析服务.文中重点解决了数据点位置和地图之间的映射,以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题.实验结果表明,该方法将数据交互操作与数据绘制和计算任务分离,为浏览器端大数据可视化提供了一个新的思路.