首页> 中国专利> 异步梯度平均的分布式随机梯度下降法

异步梯度平均的分布式随机梯度下降法

摘要

一种在多个计算节点上分布式训练机器学习模型的系统,包括:服务器,与多个计算节点连接,用于在多轮训练迭代中控制机器学习模型的训练。每轮训练迭代包括:指示每个计算节点通过如下方式对所述机器学习模型的相应本地副本进行训练:本地计算多个累积梯度中的相应累积梯度,每个累积梯度包括一个或多个梯度;从每个计算节点获取所述累积梯度;通过将所述机器学习模型与所述累积梯度的汇总值合并来创建更新的机器学习模型。其中,在获取和创建阶段,所述计算节点中的一个或多个计算节点计算新的相应累积梯度,所述新的相应累积梯度在下一轮训练迭代中与所述机器学习模型合并。

著录项

  • 公开/公告号CN111052155A

    专利类型发明专利

  • 公开/公告日2020-04-21

    原文格式PDF

  • 申请/专利权人 华为技术有限公司;

    申请/专利号CN201780094579.4

  • 申请日2017-09-04

  • 分类号

  • 代理机构

  • 代理人

  • 地址 518129 广东省深圳市龙岗区坂田华为总部办公楼

  • 入库时间 2023-12-17 08:30:07

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-05-15

    实质审查的生效 IPC(主分类):G06N3/08 申请日:20170904

    实质审查的生效

  • 2020-04-21

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号