基于联邦蒸馏的联邦学习模型的训练方法、系统和介质

摘要

本发明公开了一种基于联邦蒸馏的联邦学习模型的训练方法、系统和介质，可应用于模型处理技术领域。本发明方法包括：客户端采用联邦学习算法和本地私有数据集训练并更新本地模型，采用公共数据集和更新后的本地模型预测局部归一化层的第一输出向量，并向服务器上传第一输出向量对应的局部平均输出向量；服务器对所有局部平均输出向量进行全局共识操作并确定全局平均输出向量，向所有客户端下发所述全局平均输出向量；客户端在公共数据集上，采用全局平均输出向量和更新后的本地模型进行知识蒸馏，并在本地私有数据集上训练回调本地模型。本发明能使通信成本只取决于模型输出，不会随模型大小倍数增加，从而有效提高通讯的稳定性和减少延迟。