基于蒸馏的半监督联邦学习的个性化模型的训练方法

摘要

本发明公开一种基于蒸馏的半监督联邦学习的个性化模型的训练方法，采用知识蒸馏技术，客户端通过上传模型预测而不是模型参数，使得每个客户端可以选择自己设计的模型架构，很好地保护了客户端关于模型的隐私信息，而利用共享数据与客户端的本地数据一起进行训练，极大地提高模型的泛化能力。此外，聚合方案能根据每个客户端提供知识的重要程度来进行动态聚合，使聚合的模型预测更好地融合了客户端的模型知识。服务器聚合完成后，回传给客户端的不是公共数据的模型预测分布信息而是伪标签信息，利用这种方式进一步地提高了通信传输效率。