基于Spark架构的时空大数据分析计算方法

摘要

本发明涉及数据分析技术领域，具体地说，涉及基于Spark架构的时空大数据分析计算方法，包括多类型异构数据获取端、多类型异构数据预处理端、空间属性分析与运算端和大数据预测端。本发明设计通过筛选最优的应用数据集，实现数据的最有效应用；通过构建数据湖来与传统数仓进行互补，以支持异构技术融合的架构实现存储与计算分离，使存储和计算可独立扩展，适用于多种类型的数据，实现数据的弹性计算，便于回收资源；以Spark架构为基础，有效提高时空大数据的分析和计算速度，并结合深度学习，更深入地分析时空大数据的空间和时间属性，提高数据预测的速度及准确性，增强时空大数据的应用效果。