基于资源紧迫度的实时ETL弹性调度机制

摘要

在ETL系统中,当数据生产速度遇到较大的波动时,为了使现有资源在有限的条件下极大程度地满足用户的使用需求,提出了基于资源紧迫度的E TL弹性调度机制.首先,构建基于历史数据的时间序列预测模型,用来预测数据生产速度;然后,根据各个E TL过程提交的资源清单和各个服务器负载情况,对单个用户的多个E TL过程的资源进行调整.该调度机制将资源调度问题转换为多维背包问题,提出了基于资源紧迫度的动态调度算法.实验结果表明,当用户资源对所有的E TL过程稀缺的时候,该调度算法会使资源得到更好的利用.通过实验验证了弹性调度比传统的调度方式在资源利用方面具有优势.