基于MPI的神经网络架构搜索并行化方法和设备

摘要

本发明涉及一种基于MPI的神经网络架构搜索并行化方法和设备。该方法包括：根据当前多机环境中的GPU数量启动MPI进程，并按顺序进行编排；启动后的MPI进程根据其自己的序号从训练集中指定位置读取数据，并进行梯度计算；每个节点的GPU根据分层结构进行梯度规约计算，将计算的结果汇总至GPU中的首个GPU中；首个GPU按环形结构进行梯度全规约计算；在每个节点内从该首个GPU开始，按分层结构广播梯度计算结果；利用该新的梯度值更新神经网络的权值和偏置值。本发明能够在保证神经网络架构搜索结果模型的识别率的基础上，有效地加速神经网络架构搜索训练效率，大幅度减少训练时间，从而提升自动化深度学习过程的效率。