一种基于云原生架构的大数据流处理方法和装置

摘要

本发明的实施例公开了一种基于云原生架构的大数据流处理方法、装置、电子设备及存储介质，涉及大数据流处理技术领域，用于避免大数据流处理任务执行的资源占用及插件冲突，提高平台运行安全性和稳定性。所述方法包括：接收服务器发送的大数据流处理任务，该任务中包含所需的插件镜像信息、Git仓库地址信息、输入和输出信息；通知Docker Engine从镜像仓库拉取并运行相应的插件镜像，使插件开始运行；插件运行后访问Git仓库，获取任务上下文数据；插件从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到Git仓库中并更新任务上下文数据；通知服务器任务已执行完成，并通知Docker Engine销毁运行的插件实例，释放占用的资源。