人工智能模型的分布式训练中的数据并行性

摘要

本文中描述了启用大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行的方法、系统、装置和计算机程序产品，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以调节一组微批次或迷你批次的大小以减少通信开销。可以在参数服务器和目标设备处执行多级并行的参数缩减。