一种基于深度强化学习和异构Spark集群的节能调度方法及系统

摘要

本发明属于强化学习和大数据处理领域，具体涉及一种基于深度强化学习和异构Spark集群的节能调度方法及系统；该方法包括：实时获取Spark集群上真实负载下的在线数据信息，将数据信息输入到训练好的Q网络，Q网络对数据信息进行能耗‑时间目标预测，系统根据能耗‑时间目标预测选择能耗‑时间目标最低的方案进行资源分配；本发明考虑到集群异构导致能耗不同从而带来的资源优先分配问题，在保证满足用户响应时间情况下寻找最低能耗‑时间目标，并根据最低能耗‑时间目标进行资源调度，能针对能耗目标或者多种SLA目标进行优化并尽可能的节能减排，对通过此方法来达到平衡云服务提供商成本和用户之间响应时间有重要意义，具有良好的经济效益。