一种基于数据特征感知聚合的联邦学习模型训练方法

摘要

本发明提出一种基于数据特征感知聚合的联邦学习模型训练方法。本发明中的云端服务器根据边缘客户端上传的本地模型计算全局最优模型，并根据挖掘边缘客户端数据特征，对数据特征进行降维，筛选出关键特征，基于关键特征对边缘客户端进行聚类分组；云端服务器向边缘客户端下发分组信息和全局最优模型；边缘客户端根据接收到的全局最优模型，按照全局最优模型提供本地数据在本地执行模型训练，同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。本发明充分利用了边缘客户端的数据特征，将边缘客户端进行分组，避免了不必要的通信并且极大程度的缓解了统计异构性对模型训练的影响，提高了模型的训练效率。

说明书

技术领域

本发明涉及边缘计算领域，尤其涉及一种基于数据特征感知聚合的联邦学习模型训练方法。

背景技术

云计算自从2005年提出之后，就开始逐步改变我们的生活、学习、工作方式。生活中经常用到的Google、Facebook等软件提供的服务就是典型的代表。并且，可伸缩的基础设施和能够支持云服务的处理引擎也对我们运营商业的模式产生了一定的影响，比如，Hadoop、Spark等等。物联网的快速发展让我们进入了后云时代，在我们的日常生活中会产生大量的数据使得云计算模型已经不能很好的解决现在的问题，于是，出现了一种新型的计算模型，边缘计算。边缘计算指的是在网络的边缘来处理数据，这样能够减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性和私密性。

随着各种各样的边缘设备的增多，比如智能电网、智能手机、物联网设备等，越来越多的数据被用于机器学习的训练，因此将用于模型训练的数据传输到服务器中集中训练的传统的模型训练方式会带来许多问题，比如巨大的通信开销、有限的计算资源、以及隐私安全隐患。因此，联邦学习框架被提出以解决这类问题，在联邦学习中，模型的训练被转移到各个边缘设备或边缘节点上，很好地解决了由于大量数据传输造成的通信开销问题，同时避免了传输数据时可能涉及的用户隐私问题。

相比于传统的SGD(Stochastic Gradient Descent)方式，联邦学习很大程度上提高了模型训练的效率。通常情况下，联邦学习大多都是采用同步训练的方式，即云端服务器将初始化的全局最优模型下发给选择的某些边缘设备，即边缘客户端，被选择的边缘设备再使用本地数据进行模型更新，然后由云端服务器将更新后的本地模型进行聚合得到更新后的全局最优模型。许多研究学者针对联邦学习效率的优化几乎都是在同步训练的基础上。在同步联邦优化中，云端服务器需要等到所有选中的边缘设备本地更新完成才能更新全局最优模型。但大多数边缘设备的计算资源以及通信能力是受限的，比如电池能量低、网络拥堵、GPU数量和计算能力有限、以及网络流量收费等，这导致它们训练模型以及上传模型所需的时间可能较长，因此整个联邦学习过程效率较低。而且，同步联邦优化未能充分利用边缘设备的空闲时间进行模型训练。比如，在某一轮训练时那些未被选中的空闲边缘设备没有被利用起来，或者边缘设备在上传完更新后的本地模型就空闲下来可能不再被选中。此外，由于边缘设备的异构性，训练本地模型的数据是非独立同分布的，也就是边缘客户端之间是存在统计异构性的，因此联邦学习还需要解决非独立同分布造成的模型差异问题。

在边缘计算的场景下使用联邦学习方法会放大原本就存在的统计异构性，当统计异构性足够大时，训练出来的模型效果就达不到要求的效果。基于此，需要一种新的联邦学习模型训练方法降低统计异构性，以在边缘计算的场景下确保模型训练的有效性。

发明内容

为解决现有技术存在的问题，本发明提出了一种基于数据特征感知聚合的联邦学习模型训练方法，可以在保证用户数据的隐私的前提下共享数据，打破“数据孤岛”的困境，让不同参与方之间的数据在安全的前提下共享，实现联合建模，并且缓解了参与方之间的统计异构性，确保了模型训练的有效性。

为了实现上述目标，本发明提出一种基于数据特征感知聚合的联邦学习模型训练方法，所述方法包括以下步骤：

(1)云端服务器根据边缘客户端上传的本地模型计算全局最优模型，并根据本地模型挖掘边缘客户端的数据特征；

对数据特征进行降维，筛选出关键特征，基于关键特征对边缘客户端进行聚类分组，以实现客户端分组，数据特征相似度高的边缘客户端被分为一个组。

(2)云端服务器向边缘客户端下发分组信息和全局最优模型。

(3)边缘客户端根据接收到的全局最优模型，按照预设的优化目标提供本地数据在本地执行模型训练，同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)采用奇异值分解方法对数据特征进行降维获得关键特征，然后对关键特征采用聚类算法进行聚类，将所述边缘客户端分成多个组，同一组中边缘客户端的数据特征相似度高，然后同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器，充分利用了所述边缘客户端的数据特征，避免了不必要的通信并且极大程度的缓解了统计异构性对模型训练的影响，使模型训练更加高效。

(2)通过上传每个边缘客户端组的最优模型，充分利用所述边缘客户端的本地数据，提高模型训练效率。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分

附图说明

图1是本发明的基于数据特征感知聚合的联邦学习模型训练方法的架构图。

图2是本发明的基于数据特征感知聚合的联邦学习模型训练方法的流程图。

具体实施方式

结合附图从下面的描述中可以更加全面地理解本发明。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

如图1所示，本发明系统模型由两个实体构成：边缘客户端和云端服务器。这些描述如下：

(1)边缘客户端：用户的终端设备具有一定的数据计算和存储功能，为了解决隐私泄露问题，所述边缘客户端先独立地对本地数据和本地模型进行满足差分隐私的保护处理；然后仅仅上传本地模型给云端服务器。

(2)云端服务器：存储在大型数据中心中的云服务器具有强大的数据计算和存储能力，对边缘节点上传的多个本地模型进行差分隐私聚合，混淆各参与的边缘客户端的实际贡献；然后，通过端云协同的方式不断更新模型，直到模型达到最优；最后将训练好的全局最优模型下发至边缘客户端，为用户提供更好的服务。

结合图2，本发明提出一种基于数据特征感知聚合的联邦学习模型训练方法，所述方法包括以下步骤：

(1)云端服务器根据边缘客户端上传的本地模型计算全局最优模型，并根据本地模型挖掘边缘客户端数据特征，对数据特征进行降维，筛选出关键特征，然后基于关键特征对边缘客户端进行聚类分组，数据特征相似度高的边缘客户端被分为一个组；

(2)云端服务器向边缘客户端下发分组信息和全局最优模型；

(3)边缘客户端根据接收到的全局最优模型，按照预设的优化目标提供本地数据在本地执行模型训练，同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。

进一步地，步骤(1)中，云端服务器根据边缘客户端上传的本地模型计算全局最优模型是采用加权平均的方法，具体是指：在第t轮训练中，更新的全局最优模型

进一步地，步骤(1)中，并不是每次都进行分组，而是要达到分组条件，具体是指：当本次更新所得到的测试精度比全局最优模型的测试精度小于某个阈值时，所述阈值可以根据需求自动调整其大小。

进一步地，步骤(1)中，对数据特征进行降维，并筛选关键特征是指：对所述数据特征进行奇异值分解处理。

进一步地，步骤(1)中，基于关键特征对数据进行聚类分组是指：将降维后的数据特征向量化作为分类样本，从属于自己的单个聚类的所有样本开始，在聚类的每一步，计算所有聚类之间的成对距离来判断它们的相似性，最相似的两个集群被合并，直到达到停止聚类的条件。

进一步地，步骤(2)中，云端服务器向边缘客户端下发信息，分为两种情况，详细如下：

(1)第一次训练，所述云端服务器不包含全局最优模型和分组信息。所述云端服务器初始化全局最优模型，仅仅将初始化化后的全局最优模型下发给所述边缘客户端；

(2)非第一次训练，所述云端服务器包含全局最优模型和分组信息。所述云端服务器将全局最优模型和分组信息下发给所述边缘客户端。

进一步地，步骤(3)中，所述预设目标是指：找到一个本地模型使损失函数尽可能小。

进一步地，当达到分组条件时，所述所有边缘客户端需要上传本地模型；当未达到分组条件时，只需在同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。

进一步地，所述停止聚类的条件可以是自定义组的数量或者其他自定义条件。

综上所述，本发明提出的基于数据特征感知聚合的联邦学习模型训练方法能够充分利用各个边缘客户端的本地数据，将聚类算法与联邦学习进行结合。在该方法中，不是随机选择所述边缘客户端上传本地模型，而是将所述边缘客户端进行分组，然后同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器，充分利用了所述边缘客户端的数据特征，避免了不必要的通信，使模型训练更加高效。

虽然本发明已以较佳实施例揭露如上，然而其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。