一种用于分布式训练计算阶段的自动优化方法

摘要

本发明提供一种用于分布式训练计算阶段的自动优化方法，所述方法包括在分布式训练的每个回合执行如下步骤：S1、以预设的最小单位负载为粒度，计算当前回合中参与分布式训练的所有节点的计算性能；S2、以计算性能最差的节点计算其对应的最大允许负载数的完成时间为限制时间，分别计算每个节点在限制时间内能够完成计算的最大负载数，以所有节点在限制时间内对应的能够完成计算的最大负载数组成负载分配策略；S3、以步骤S2中负载分配策略，分配下一回合每个计算节点的负载。其中，节点的计算性能是该节点完成预设最小单位负载计算的时间。