跨IDC大数据处理架构下执行策略生成方法、装置

摘要

本发明公开了一种跨IDC的大数处理架构下执行策略生成方法、装置，涉及大数据处理领域。该方法接收各个IDC集群上报的当前可用计算资源和网络传输资源；基于任务分类模型库根据任务的类型确定任务的最优执行策略，任务的最优执行策略包括任务所需计算资源和所消耗时间；根据可用资源池中的[集群可用计算资源、作业数据分布]矩阵和[各个任务所需计算资源和所消耗时间、集群可用网络资源]矩阵两两计算，获得作业的当前最优执行策略。相对于现有的方案，本申请的技术方案能在跨IDC搭建下的大数据处理平台高利用率使用计算、网络资源，能满足不同业务的服务质量要求，而且具有灵活的业务扩展能力。