面向数据分布不一致场景的联邦学习性能优化算法研究

摘要

近年来，人工智能（AI）技术取得了巨大成功，引起人们广泛关注。在AI技术应用过程中，数据资源是关键一环，这使其面临着数据资源困境和隐私保护困境。如何在充分保护数据隐私的前提下，尽可能利用各方数据资源，成为一个难题。联邦学习应运而生，联邦学习是一种机器学习技术，能够联合利用多方数据资源，在避免原始数据直接交互的前提下，共同训练一个机器学习模型。然而，联邦学习看似强大，实则存在很多性能、模型上的不足，亟待解决。与中心化学习模式相比，联邦学习的模型准确度更低、训练过程更漫长、由于需要频繁模型交互导致通信代价明显增大。这些问题在各个参与方数据分布不一致（Non-IID）情况下表现的更加严重。　　本文聚焦于数据分布不一致导致的联邦学习性能方面的问题，并对此展开研究。通过实验，本文发现经典的联邦学习算法在数据分布不一致情况下会出现算法收敛速度下降、模型准确度降低等问题。通过深入分析，本文发现导致这些问题的原因主要是参与方数据分布不一致和由此带来的训练过程中参与方模型差异的积累。为了减小训练过程中参与方模型差异的积累，本文提出了模型差异正则化方法。将该方法结合到经典联邦学习算法中，使参与方在模型训练过程中受到全局模型的约束，避免参与方模型过于发散，从而能够在数据分布不一致场景下加快算法收敛速度、提高模型准确度。　　通过对联邦学习训练过程进行分析，本文还发现联邦学习算法的本地回合会影响模型收敛速度和模型最终准确度。具体来说，较大的本地回合数有利于模型初期的快速收敛，但不利于模型最终准确度的提高；较小的本地结合数有利于模型最终准确度的提高，但训练初期收敛速度比较慢。由于经典联邦学习算法中本地回合数是固定的，不利于模型的收敛和准确度的提升。为了解决这个问题，本文提出了自适应本地回合方法，该方法在训练过程中动态地调整本地回合数，加快训练初期模型收敛速度，同时提升模型最终准确度。　　本文基于卷积神经网络模型，在MNIST、CIFAR-10数据集上进行实验，对比算法的收敛速度、模型准确度和损失函数。实验表明，本文提出的两种方法相比原始联邦学习算法，算法的鲁棒性、收敛速度和模型的准确性均有一定的提升。特别是在参与方数据分布不一致情况下，算法提升效果更加明显。

目录