一种基于矩阵表示的分布式模型训练优化方法

摘要

本发明公开了一种基于矩阵表示的分布式模型训练优化方法，方法包括：节点配置，在子节点中搭建神经网络，通过前向传播获取参数，随机梯度下降算法更新参数，将节点搭建成完全二叉树集群的形式；消息上传，在不同的主机上搭建通讯协议，子节点将消息通过消息队列并行传输到根节点，并对神经网络中的节点进行验证；模型上传，将模型文件分割成等份，并标注索引，采用并行IO流的方式将模型文件上传到根节点；安全检测，根节点对消息队列进行安全检查，确认安全后，从队列中取出模型文件，按照分割后的模型的索引号组成完整的模型，并将其作为当前神经网络的隐含层进行迁移学习的训练。通过本方案能大大减少分布式训练的耗时，并提高模型的训练效率。