一种基于资源负载预测的任务调度优化数据处理系统

摘要

本发明涉及一种基于资源负载预测的任务调度优化数据处理系统；所述系统包括：数据采集模块，用于实现数据的采集和处理；数据库模块，用于储存得到的数据并实现数据的读取；资源负载采集模块，用于对节点的资源利用率进行采集；任务调度模块，用于实现集群管理、监控、负载预测和UPSA任务调度策略；数据可视化模块，用于对节点的历史负载数据进行可视化展现；本发明通过设置任务调度策略，并提前预测了各个节点的利用率，减小了各个节点之间的负载倾斜，提高了任务的执行效率，本发明通过建立随机森林预测模型，实现了自调度监控模块启动时就开始对节点负载进行实时预测。