利用强化学习的分层设备放置

摘要

一种用于确定机器学习模型操作跨多个硬件设备的放置的方法，包括：接收指定机器学习操作的数据，以及确定将由数据指定的操作中的每一个分配给来自多个硬件设备的相应的设备的放置。确定该放置包括：从该数据为操作中的每一个生成相应的操作嵌入；将操作分组为多个操作组，包括使用具有多个分组器参数的分组器神经网络来处理相应的操作嵌入中的每一个，其中分组器神经网络被配置为对于操作中的每一个，按照分组器参数的第一值来处理操作的操作嵌入，以生成分组器输出，该分组器输出将操作分配给来自多个操作组的操作组；以及将操作组中的每一个分配给来自多个硬件设备的相应的设备。