数据传输方法和流式数据传输系统

摘要

本申请实施例提供了一种数据传输方法，所述方法包括：所述数据采集插件从数据源中采集数据流，并采用数据上报请求将采集到的数据上报至所述网关；所述网关在接收到所述数据上报请求后，将所述数据上报请求中的数据存储至目标请求队列中；所述网关通过轮询方式从生产者池中确定每一个请求队列对应的目标生产者，并通过所述目标生产者在预设的时间段内将所述目标生产者对应的请求队列中的存储的数据缓存至所述Kafka集群的目标主题中；所述Flink集群通过多个Flink SQL作业消费Kafka集群的各个主题中缓存的数据，并将消费到的数据分发至目标终端中。本申请可以避免不同数据流的传输之间会相互影响。