一种基于效用函数的面向大数据处理的公平资源调度方法

摘要

本发明公开了一种基于效用函数的面向大数据处理的公平资源调度方法，首先获取所有作业的基本特征，然后通过分析基本特征将作业分为流数据处理、交互式以及批处理作业；接着对于流数据处理的作业以平均分布和紧凑的原则来预留系统中的资源；对于交互式和批处理的作业，先分析各自的特征向量导出作业的效用函数，再通过截止时间系数进行约束创建当前可调度作业的预备作业池，最后使用最大资源点乘法选择能够提高资源利用率的任务进行调度，丢弃排队队列中不能为系统产生正面效用的工作。本发明方法将效用函数作为衡量作业重要性的指标，能够更加完善、准确以及满足用户公平性，提高作业服务质量，系统的总体处理能力以及整体效用。