一种充分利用网络计算资源的多租户大数据框架调度方法

摘要

本发明公开了一种充分利用网络计算资源的多租户大数据框架调度方法，基于有限并行度的优先级网络传输模型，包括任务选择；资源空隙选择；并行度控制和网络传输优先级设置，本发明首先针对现有网络传输抽象不够有效，导致任务的数据传输部分时间变长的缺陷，提出了有效且可预测的网络传输调度方法，提升了网络传输效率。本发明针对现有调度算法未遵循公平性策略，导致优先级高的工作受到优先级低的工作的影响延时完成的缺陷，针对不同的优化场景做了处理，提高了资源利用率，缩短了工作的完成时间。本发明在真实的大数据系统Hadoop上进行了实现，有非常好的性能提升，验证了本发明方法可以提高资源利用率，并缩短了工作的完成时间。