一种加速分布式深度神经网络的训练方法及装置

摘要

本发明实施例提供了一种加速分布式深度神经网络的训练方法及装置，所述方法包括：基于并行训练，将深度神经网络的训练设计成为分布式训练的模式，待训练的深度神经网络模型划分为多个子网络；训练样本集划分为多个子样本集；基于分布式集群架构及预设的调度方法，利用多个子样本集对深度神经网络进行训练，每个训练由多个子网络同时进行，进而完成深度神经网络的分布式训练；由于基于分布式集群架构及预设的调度方法可以通过数据本地化减小网络延迟对分布式训练的子网络的影响，并实时调整训练策略，同步并行训练的子网络的进度，进而可以缩短分布式深度神经网络的完成训练的时间，加速深度神经网络的训练。