用于优化分布式系统集群配置的方法和系统

摘要

本发明涉及一种用于通过预测任务执行时长来优化分布式集群配置的方法。该方法包括配置分布式集群，在集群上运行测试任务，收集任务运行详情，收集任务运行时的系统运行数据，利用收集到的任务运行详情、分布式集群配置信息、系统配置信息、计算依赖数据量特征来训练任务执行时长预测模型，在提交任务后搜索最优集群配置，以及相应地调整集群配置以优化集群性能。