海量数据大规模并行处理中基于数据流的负载均衡方法

摘要

基于数据流的负载均衡方法，数据流的负载均衡是通过对输出通道的数据流文件量参数检测，文件量现分二种：文件的个数和文件的总大小，通过对各输出通道文件量的参数配置调节各通道的数据流文件。尤其是1)根据配置的输入通道，到输入通道搜索数据流文件；2)检查配置的各输出通道的数据流文件量，当某个通道的数据流文件量较小或者没有时，将输入通道的数据流文件送到该输出通道，直到该通道的文件量达到所配置的阈值；当某个通道的文件量较大时，等待该通道处理；3)不停地循环检查各输出通道的文件量，实时地将文件送到各个文件量较小的通道。