基于随机加速梯度下降的半联邦学习方法及装置

摘要

基于随机加速梯度下降的半联邦学习方法及装置，该方法利用设备数据和开源数据获得预设规模的独立同分布数据子集；进行梯度预训练，通过SAGDFL和规则I训练得到全局梯度；通过SAGDFL在设备和服务器之间执行联邦学习，服务器识别参加训练的设备组，将模型和全局梯度发送给设备组中的设备进行SAGDFL处理；将每个设备生成的数据和局部梯度上传到服务器，聚合生成新的模型和新的全局梯度。本申请通过随机加速梯度下降策略减少局部和全局梯度方差；可以大大缩短训练迭代，保证模型推理精度；确保隐私泄露风险可控；使额外的通信开销最小化，使模型参数变得稀疏，易于将传输的数据进行压缩，降低通信成本。