面向kafka的数据传输方法、系统、计算机设备及存储介质

摘要

本申请属于大数据技术领域，涉及面向kafka的数据传输方法、系统、计算机设备及存储介质，所述方法包括:使WEB服务器接收数据传输请求并发送至任意服务节点；使基于数据传输请求生成消费任务，并发送任务信息至分布式服务端；监测到路径下的任务信息时，基于任务信息和工作节点对消费任务进行拆分，得到多个子消费任务并发送至分布式服务端；监测到存入子消费任务的任务信息时，启动线程从kafka中数据消费传输至数据接收端。本申请还涉及区块链技术，被确定为私密的消费数据可存储于区块链中。本申请可以实现传输的快速配置，简单高效，增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率。