一种用于流式数据并行处理的负载均衡方法

摘要

本发明提供一种用于流式数据并行处理的负载均衡方法，其中用于流式数据并行处理的并行流水线包括N级处理线程，每个处理线程与一个处理器核绑定，其中N为所述并行流水线的级别数目，所述负载均衡方法包括：1)对于任意一个第i级处理线程，该第i级处理线程首先完成本级的数据处理，得到第i级中间数据包；2)根据各个第i+1级处理线程的负载状态，基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列；所述i为1至N-1中的任意一个整数。本发明能够实现流水线构架内部的负载均衡，能够显著降低流水线中各个线程的缓冲队列长度，能够降低流水线中各个线程的缓冲队列长度的波动幅度以及各个线程缓冲队列长度之间的差异。