一种大批量的去中心化分布式图像分类器训练方法和系统

摘要

本发明公开一种大批量的去中心化分布式图像分类器训练方法和系统，各工作节点使用本地图像分类器参数，根据本地存储的图像样本计算随机梯度后，对梯度进行归一化处理，并使用该归一化梯度更新动量和本地参数。各节点与邻居节点通信以获得其最新图像分类器参数，并与自身本地图像分类器参数做加权平均，作为新的本地参数参与到下一轮更新。不断重复以上训练步骤，直到达到停止条件时，各个节点停止，将各节点上的参数平均值作为最终的输出参数。本发明中的方法取消中心节点，不会出现中心节点处拥塞的问题，与此同时，本方法适用于大批量图像分类器训练，大批量训练可以减少参数更新和通信次数，从而可以充分利用GPU等计算资源，大幅提高训练效率。