基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统

摘要

本发明公开了一种基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统，方法包括以下步骤：通过Web客户端制作空间数据处理流程图；执行流程图相关参数配置，形成可解析的kettle文件；验证kettle文件的有效性；保存kettle文件到数据库资源库；空间数据处理平台从数据库资源库请求、解析kettle文件；基于GeoTools设计空间数据抽取、转换、加载方法；自动化并行执行空间数据处理流程；系统包括：客户端，用于空间数据处理流程的配置、编辑、保存kettle文件；空间数据处理平台，用于接收、解析kettle文件，按照客户端设计的数据处理流程，将原始空间数据经过处理流转到结果数据。本发明可以完成多种空间数据从抽取、转换、清洗到加载的处理过程，便捷、耦合度低、效率高。