异构集群下考虑数据亲和性的Spark任务调度方法

摘要

本发明公开一种异构集群下考虑数据亲和性的Spark任务调度方法，从用户角度出发，考虑数据亲和性最小化Spark应用的最大完工时间。将用户提交的Spark应用会分解为任务调度序列，把任务分配到合适的虚拟机中，获得初始解，然后通过调整任务调度序列，进一步优化初始解，获得最优的调度结果。本发明方法通过实现动态分配合适资源，优化了Spark应用的最大完工时间。