一种基于特征图编码的流水线模型并行训练内存优化方法

摘要

本发明公开了一种基于特征图编码的流水线模型并行训练内存优化方法，步骤为：构建流水线DNN模型并行训练方案，采用异步参数更新方法，并发执行不同批次的训练，记录训练批次在单位流水线执行时间内完成前向和后向传递过程；在模型训练过程中，待前向传递计算任务完成后，将生成的特征图进行编码，以低内存占用格式存储，从而降低特征图存储所需内存占用量；后向传递过程计算时，将保存特征图进行解码，还原高精度原始数据，实现基于特征图编码的流水线并行训练内存优化，避免低精度数据对模型训练计算影响，保证模型训练有效性。