基于负载均衡机制的权重优先Task任务调度方法

摘要

本发明属于资源分配技术领域，公开了一种基于负载均衡机制的权重优先Task任务调度方法，避免单个高权值worker节点负载过高，以及大的task任务直接被丢弃的问题进行改进；首先将task任务进行分类，以task任务读取速度和占用资源量的大小两个条件，将task任务分为四类；在各个worker节点上加入负载均衡模块，使之成为分布式负载均衡模型；并动态监测各worker节点上的资源使用和负载情况，在master节点上根据权值的大小，再通过与task分类情况进行映射至各个worker节点，再进行task任务的调度。解决各个高权值worker节点间负载不均衡及队列拥堵的问题。