用于对加速分布式处理进行流水线并行的系统和方法

摘要

在本文中公开了一种系统、方法和设备，用于进行流水线并行以加速分布式学习网络图。针对神经网络的第一层的第一数据可以被存储在存储器中。包括第一多个处理元件(PE)电路的第一电路系统可以从存储器中读取第一数据，并且使用第一数据执行针对神经网络的第一层的计算，以生成第二数据。第一电路系统包括多个缓冲区，用于将所生成的第二数据输出作为到第二电路系统的输入，以执行针对神经网络的第二层的计算。第二电路系统包括第二多个PE电路，被配置为使用第二数据执行针对神经网络的第二层的计算。