一种大类别深度学习GPU并行加速的方法

摘要

本发明提供一种大类别深度学习GPU并行加速的方法，包括：采用模型并行对深度神经网络结构中的softmax层的模型参数进行训练，每个GPU训练各自的模型分片，各GPU的softmax层之间通过交互模型参数的数据特征，完成深度学习；本发明采用混合式架构，即softmax层之前的所有层级，依然是采用数据并行方式，softmax层采用模型并行方式，突破了大类别深度学习并行运算的瓶颈，克服了在深度神经网络结构中的最后一层全链接层上，进行参数交互的通信成本和花费的通信时间过高的问题，能够在保持原有深度学习效果的同时，大幅度提升模型学习效率，减少GPU占用率。