一种多个GPU并行的DNN模型训练方法和装置

摘要

本发明公开一种多个GPU并行的DNN模型训练方法和装置，用于解决现有技术中多个GPU并行训练DNN模型时存在的训练精度低的问题。该方法包括：在前向传播处理过程中，接收前向BN输入数据子集；确定全局前向BN输入数据均值集合；根据全局前向BN输入数据均值集合，对前向BN输入数据子集进行前向BN处理，得到前向BN输出数据子集；在后向传播处理过程中，接收后向BN输入数据子集；确定全局后向BN输入数据均值集合；根据全局后向BN输入数据均值集合、后向BN输入数据子集和全局前向BN数据均值集合，对前向BN输入数据子集进行后向BN处理，得到前向BN输入数据子集中每个数据的梯度。