一种异步联邦学习聚合更新算法

摘要

联邦学习致力于在保证用户数据隐私安全的同时,通过多用户共建的方式提升机器学习模型的泛化性能.为此,在用户利用本地数据训练模型后,参数服务器需要聚合多个用户的模型参数并使用户基于聚合后参数继续本地训练.指数滑动平均是一种被广泛使用的参数聚合更新方法.然而当用户本地训练速度相差较大时,指数滑动平均方法无法消除由此造成的聚合参数偏差,从而显著影响模型整体训练效率.针对上述问题,本文提出了一种基于权重摘要和更新版本感知的异步联邦学习聚合更新方法,通过合理控制不同训练速度用户提交的参数在聚合参数中所占比例,以及主动更新落后用户使用的聚合参数,从而有效解决本地训练速度差异对聚合参数造成的负面影响.实验结果表明,相较于指数滑动平均策略,本文提出的参数聚合更新方法在MNIST、CIFAR-10数据集上均能显著提升训练效率.