一种基于层宽内存分配的深度学习异构计算方法和系统

摘要

一种基于层宽内存分配的深度学习异构计算方法，包括步骤：遍历神经网络模型以获取其训练操作序列及层数L；计算神经网络模型中第i层操作所涉及的数据在双缓冲配置下所需的内存空间R₁；在第i层操作所需的内存空间R₁大于GPU的内存空间的情况下，改变第i层的层结构并更新所述训练操作序列；在神经网络模型的所有层涉及的所有数据所需的内存空间R₂大于GPU的内存空间的情况下，将所述所有数据按照数据放置方法转移至所述存储介质中进行存储；基于所述训练操作序列按照逐层的方式完成每一层的迭代计算以完成对神经网络的训练。本发明的方法使GPU内存空间不再成为神经网络训练的限制因素，降低了CPU和GPU之间的通信开销，加快神经网络的训练速度。