一种可移植的神经网络分布式并行策略搜索方法

摘要

本发明公开了一种可移植的神经网络分布式并行策略搜索方法，为大规模复杂神经网络提供可移植的最优模型并行训练方案。本发明首先通过计算‑通信感知的节点消融技术构建并简化并行策略搜索空间，确定并行度，降低搜索开销；其次利用位置感知的邻域信息聚合方法，提取并构建计算图特征编码，赋予策略从小网络移植到大网络的可扩展能力；最后基于马尔科夫过程，通过策略网络和中间奖励实现计算图算子调度策略的生成和优化，牺牲有限的搜索开销，加快搜索算法收敛速率。