一种基于Spark分布式环境下的大数据ETL模型执行方法及介质

摘要

本发明提出了一种基于Spark分布式环境下的大数据ETL模型执行方法及介质，主要包括以下步骤：获取ETL分析模型，对其中涉及到的算子进行动态分析，判断是否包含与当前时间有关的算子；判断ETL模型的输出结果表是否全部存在；判断ETL模型的依赖数据表与输出结果表的更新时间之间的先后关系；对以上需要实际执行的ETL模型提交至优先队列。通过对数据集增加字段、记录元信息的方式保证ETL模型并行执行效率，通过对原始数据集特点以及ETL模型的动态分析，完成大数据ETL模型是否需要实际执行的判定，节省了计算资源，提高了分析性能，保障了分析系统的稳定性。