联邦学习参与方工作量确定方法及装置

摘要

本发明实施例提供了一种联邦学习参与方工作量确定方法及装置，该方法包括：各参与方进行模型训练获得模型参数，并将该模型参数发送至第一领导者；该第一领导者基于该各参与方的该模型参数，通过沙普利值确定出该各参与方的工作量。通过本发明的上述实施例，由于第一领导者可以通过以沙普利值为基础的工作量确定方式确定出各参与方的工作量，因此，可以解决相关技术中联邦学习中的工作量确定机制不合理、贡献评价和奖励机制不公平的问题，使得参与方的回报与贡献量挂钩，保证奖励结果与数据价值成正相关。

说明书

技术领域

本发明实施例涉及机器学习领域，具体而言，涉及一种联邦学习参与方工作量确定方法及装置。

背景技术

现阶段，绝大多数企业都存在数据量少、数据质量差的问题，从而不足以支撑人工智能技术的实现；同时，国内外也在陆续出台相关政策，逐步加强数据保护。因此，如何使得数据在安全合规的前提下自由流动成为了必须解决的问题。

基于以上问题，以及由此而生且大量存在的数据孤岛、隐私保护等问题，联邦学习应运而生。联邦学习，是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于线性模型，还包括神经网络、树模型等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。

联邦学习的默认假设是各方都愿意参与到联邦学习中。但是，在实际情况下，一些拥有数据的机构所拥有的数据往往都有巨大的潜在价值，出于利益的考虑，这些机构往往不会提供各自数据与其他机构做联邦学习，除非他们能得到公平的或者等价的收益，这就要求联邦学习中有公平的贡献评价和奖励机制。

针对相关技术中联邦学习中的工作量确定机制不合理、贡献评价和奖励机制不公平的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种联邦学习参与方工作量确定方法及装置，以至少解决相关技术中联邦学习中的工作量确定机制不合理、贡献评价和奖励机制不公平的问题。

根据本发明的一个实施例，提供了一种联邦学习参与方工作量确定方法，包括：各参与方进行模型训练获得模型参数，并将所述模型参数发送至第一领导者；所述第一领导者基于各参与方的所述模型参数，通过沙普利值(Shapley Value)确定出各参与方的工作量。

在一个示例性实施例中，在各参与方分别进行模型训练获得模型参数，并分别将所述模型参数发送至所述第一领导者之前，还包括：各参与方选举各参与方中的一个参与方为第一领导者。

在一个示例性实施例中，所述第一领导者根据以下公式通过沙普利值确定出各参与方的工作量φ

其中，P

在一个示例性实施例中，在所述第一领导者基于各参与方的所述模型参数，通过沙普利值确定出各参与方的工作量之后，还包括：各参与方根据所述工作量从各参与方中选择第二领导者。

在一个示例性实施例中，各参与方根据所述工作量从各参与方中选择第二领导者，包括：所述各参与方通过以下公式，根据所述各参与方的工作量与所述各参与方对领导者的选择次数确定领导者选择评价值Q(S

所述各参与方通过以下公式，根据所述领导者选择评价值Q(S

其中，S

在一个示例性实施例中，所述第一领导者基于所述各参与方的所述模型参数，通过沙普利值确定出所述各参与方的工作量包括：所述第一领导者对所述各参与方的所述模型参数进行处理，得到全局模型；所述第一领导者基于所述全局模型确定所述各参与方的工作量。

在一个示例性实施例中，在所述第一领导者基于所述全局模型确定所述各参与方的工作量之后，还包括：所述第一领导者将所述全局模型和所述工作量打包形成新区块，并将所述新区块发送至各参与方；各参与方对所述全局模型和所述工作量进行确认。

在一个示例性实施例中，各参与方对所述全局模型和所述工作量进行确认，包括：各参与方对所述全局模型中的模型参数和所述工作量进行验证；当所述全局模型中的模型参数与各参与方所发送的所述模型参数相同时，各参与方确认所述全局模型；当确定所述各参与方的所述工作量之和满足预设条件时，所述各参与方确定所述工作量。

根据本发明的另一个实施例，提供了一种联邦学习参与方工作量确定装置，包括：发送模块，设置于各参与方，用于进行模型训练获得模型参数，并将所述模型参数发送至第一领导者；确定模块，设置于所述第一领导者，用于基于各参与方的所述模型参数，通过沙普利值确定出各参与方的工作量。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明的上述实施例，由于第一领导者可以通过以沙普利值为基础的工作量确定方式确定出各参与方的工作量，因此，可以解决相关技术中联邦学习中的工作量确定机制不合理、贡献评价和奖励机制不公平的问题，使得参与方的回报与贡献量挂钩，保证奖励结果与数据价值成正相关。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种联邦学习参与方工作量确定方法的移动终端的硬件结构框图；

图2是根据本发明实施例的联邦学习参与方工作量确定及领导者选举方法的流程图；

图3是根据本发明实施例的联邦学习参与方工作量确定装置的结构框图；

图4是根据本发明可选实施例的联邦学习参与方工作量确定及领导者选举装置的结构框图；

图5是根据本发明实施例的可信任的联邦学习的基本架构示意图；

图6是根据本发明实施例的基于区块链的区块链联邦学习(BlockchainedFederated Learning，简称为BlockFL)的基本架构示意图；

图7是根据本发明实施例的基于联盟链的联邦学习贡献评估和共识机制的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好的理解本发明实施例以及可选实施例的技术方案，以下对本发明实施例以及可选实施例中可能出现的应用场景进行说明，但不用于限定以下场景的应用。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种联邦学习参与方工作量确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的联邦学习参与方工作量确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端的联邦学习参与方工作量确定方法，图2是根据本发明实施例的联邦学习参与方工作量确定及领导者选举方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，各参与方进行模型训练获得模型参数，并将该模型参数发送至第一领导者。

步骤S202，第一领导者基于各参与方的该模型参数，通过沙普利值确定出各参与方的工作量。

本实施例并不对各参与方中参与方的数量进行限定。具体而言，在本实施例中，各参与方可以包括各参与方所选举出的领导者，也可以不包括各参与方所选举出的领导者，另外，各参与方也可以是任意多个参与方的组合。

在本实施例的步骤S201之前，还可以包括：各参与方选举各参与方中的一个参与方为第一领导者。

在本实施例中，步骤S202可以包括：该第一领导者根据以下公式通过沙普利值确定出各参与方的工作量φ

其中，P

在本实施例的步骤S202之后，还可以包括：各参与方根据该工作量从各参与方中选择第二领导者。

在本实施例中，各参与方根据该工作量从各参与方中选择第二领导者，可以包括：所述各参与方通过以下公式，根据所述各参与方的工作量与所述各参与方对领导者的选择次数确定领导者选择评价值Q(S

所述各参与方通过以下公式，根据所述领导者选择评价值Q(S

其中，S

在本实施例的步骤S202具体可以包括：该第一领导者对所述各参与方的所述模型参数进行处理，得到全局模型；所述第一领导者基于所述全局模型确定所述各参与方的工作量。

在本实施例中，在该第一领导者基于所述全局模型确定所述各参与方的工作量之后，还可以包括：该第一领导者将该全局模型和该工作量打包形成新区块，并将所述新区块发送至各参与方；各参与方对该全局模型和该工作量进行确认，进一步的，各参与方对该全局模型中的模型参数和工作量进行验证；当该全局模型中的模型参数与各参与方所发送的该模型参数相同时，各参与方确认该全局模型；当确定所述各参与方的所述工作量之和满足预设条件时，所述各参与方确定所述工作量。

通过上述步骤，由于第一领导者可以通过以沙普利值为基础的工作量确定方式确定出各参与方的工作量，因此，可以解决相关技术中联邦学习中的工作量确定机制不合理、贡献评价和奖励机制不公平的问题，使得参与方的回报与贡献量挂钩，保证奖励结果与数据价值成正相关。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例该的方法。

在本实施例中还提供了一种联邦学习参与方工作量确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的联邦学习参与方工作量确定装置的结构框图，如图3所示，该装置包括：发送模块32和确定模块34。

所述发送模块32，设置于各参与方，用于分别进行模型训练获得模型参数，并分别将所述模型参数发送至第一领导者。

所述确定模块34，设置于所述第一领导者，用于基于各参与方的所述模型参数，通过沙普利值确定出各参与方的工作量。

在一可选的实施例中，所述装置还包括：所述第一选择模块，设置于各参与方，用于选举各参与方中的一个参与方为第一领导者。

进一步的，所述第一选择模块30，还用于根据以下公式通过沙普利值确定出各参与方的工作量φ

其中，P

在一可选的实施例中，所述装置还包括：所述第二选择模块，设置于各参与方，用于在所述第一领导者基于各参与方的所述模型参数，通过沙普利值确定出各参与方的工作量之后，根据所述工作量从各参与方中选择第二领导者。

所述第二选择模块，还用于所述各参与方通过以下公式，根据所述各参与方的工作量与所述各参与方对领导者的选择次数确定领导者选择评价值Q(S

所述各参与方通过以下公式，根据所述领导者选择评价值Q(S

所述确定模块34，还用于对所述各参与方的所述模型参数进行处理，得到全局模型；所述第一领导者基于所述全局模型确定所述各参与方的工作量。

图4是根据本发明可选实施例的联邦学习参与方工作量确定及领导者选举装置的结构框图，如图4所示，所述装置还包括：发送模块42，设置于第一领导者，用于将所述全局模型和所述工作量打包形成新区块，并将所述新区块发送至各参与方；

确认模块44，设置于各参与方，用于对所述全局模型和所述工作量进行确认。

所述确认模块，还用于对所述全局模型中的模型参数和工作量进行验证；在所述全局模型中的模型参数与各参与方所发送的所述模型参数匹配的情况下，确认所述全局模型；当确定所述各参与方的所述工作量之和满足预设条件时，确定所述工作量。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细阐述。

本实施例中提出一种基于联盟链的联邦学习贡献评估和共识机制，以解决联邦学习中贡献评价问题，提供一种公平的评价机制，使各方对模型训练过程达成一致，促进更多拥有数据机构加入联邦学习中。

图5是根据本发明实施例的可信任的联邦学习的基本架构示意图，如图5所示，联邦学习的目标是在不分享数据信息的情况下，利用两个银行(如图5中所示的Bank和BankConsortium)的数据联合训练一个机器学习模型。最底层的区块链(Blockchain)结构为可信任的AI过程提供技术支持，可信任的AI过程的主要特征包括：

1)AI模型可复制性：由于人工技能技术的普及，人工智能模型复用需求越来越大，由于其可复制性，导致模型的所有权不明、溯源和跟踪困难等问题，可信任的AI过程是可以对AI模型的全生命周期进行记录，从而对其所有者和使用者进行跟踪。

2)安全共享：由于AI资产通常来自于敏感、机密和高价值的数据，所以AI资产的共享需保证数据安全的条件下进行。

3)可审计和可验证性：对于长时间的分布式计算，支持可以审计和验证每个参与者对最终结果或阶段性结果的贡献大小。

4)公平性：区块链利用权威的方式将数据使用细节、数据处理过程、以及数据操作进行详细记录，以此来保证公平性。

传统的联邦学习方式需要通过可信的第三方聚合各用户的本地模型以进行全局模型的更新，这种方法由于需要可信的第三方参与，从而使得联邦学习方式在实施过程中系统的稳定受第三方的影响较大且易受攻击，同时增加了该方式的部署成本和实施的难度。

针对上述联邦学习方式在实施过程中系统的稳定受第三方的影响较大且易受攻击，同时增加了该方式的部署成本和实施的难度的问题，相关技术中提出了BlockFL方法，即，使用区块链网络代替可信的第三方。图6是根据本发明实施例的BlockFL的基本架构示意图，如图6所示，区块链网络允许各用户交换本地模型，同时提供相应的激励和验证机制，鼓励用户积极的参与联邦过程。

区块链是一种基于分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。它本质上为一个去中心化的数据库，同时作为比特币的底层技术，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次比特币网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

BlockFL方法主要包括矿工(如图6中所示的M

BlockFL方法的每一轮的训练过程可以分为以下几个步骤：

步骤(1)上传模型。用户设备将使用本地数据集训练得到的本地模型上传至相关联的矿工，并从关联矿工处获得数据奖励。

在步骤(1)之前，可以包括：本地训练模型。用户设备使用本地的数据集训练本地模型。

步骤(2)交叉验证(cross verification)。矿工广播传递本地模型并进行交叉验证，当验证通过后，将本地模型记录到矿工的候选块中，直至达到候块大小，或者达到最大等待时间。

步骤(3)生成块(block generation)。矿工执行工作量证明(Proof of Work，简称为PoW)机制，生成新的区块或找到一个随机数(nonce)。

步骤(4)块传播(block propagation)：首次找到随机数的矿工将其对应的候选块作为新的区块传播给其余矿工，该矿工从区块链网络中获得挖矿奖励。

在步骤(4)之后，可以包括：下载全局模型。用户设备从相关联的矿工处下载新的区块。

在下载全局模型之后，可以包括：计算更新全局模型。用户设备在本地计算全局模型并更新。

上述方法中虽然一定程度上解决了联邦学习中存在的问题，但是从公平激励的角度出发，BlockFL中仍存在以下问题：

1)BlockFL设计了相应的激励机制，即区块链网络为设备的数据样本和矿工的验证过程提供奖励，分别称为数据奖励和采矿奖励。数据奖励的发放标准是数量与其数据样本大小成正比，这种方式仅考虑数据量因为，没有顾及到数据对模型准确度产生的贡献，一个拥有大量数据的公司想要获得相同的奖励，就不要与数据量较少的一方合作，不能正确评估部分数据价值较高，但是数据量相对较小的数据提供方的贡献，这种情况下是不公平的。

2)BlockFL采用了PoW共识协议，在PoW共识下，各参与方获得的奖励的期望与算力成正比，显然与模型训练无关，某参与方可能在并未提供有效数据，但依靠算力优势获取大量奖励，同时PoW共识造成大量算力浪费。

针对上述问题，首先，本实施例中设计了一种基于沙普利值的模型贡献评估策略，以沙普利值为评价指标，支持衡量不同参与方的数据对联邦学习模型产生的价值，给出一个评价值，同时将该指标上链作为后期奖励评价标准。其次，对于模型聚合和挖矿奖励的问题，以沙普利值基准作为一个工作量证明，从节点中选举出领导者，领导者负责聚合参与方的本地模型产生全局模型，其余参与方验证并更新全局模型。

图7是根据本发明实施例的基于联盟链的联邦学习贡献评估和共识机制的流程图，如图7所示，该流程包括如下步骤：

步骤S701，系统初始化。

在本实施例的步骤S701中，假设N个机构参与了合作，参与方记为P

步骤S702，本地训练。

在本实施例的步骤S702中，各参与方用本地数据进行模型训练，完成一轮迭代后将例如：梯度信息等模型参数作为交易信息上传到区块链网络中，各参与方同步梯度信息。

步骤S703，模型评估并计算全局模型。

在本实施例的步骤S703中，当前领导者基于沙普利值计算各方贡献值，沙普利值是博弈论中合理分配收益的一种方法，那么对于机构P

例如A单独工作产生价值v({A})，后加入B之后共同产生价值v({A,B})，那么B的累加贡献为v({A,B})-v({A})。对于所有能够形成全集N的序列，求其中关于元素P

同时，当前领导者将聚合参与方提供的本地参数，得到全局模型，最后将包含各方本地模型参数的交易打包，并将各方贡献值和全局模型加入区块头中，形成新区块同步给各参与方。

步骤S704，竞选领导者。

在本实施例的步骤S704中，各参与方对模型最新区块进行验证，验证领导者收到的各方本地模型信息是否正确，若通过验证则进行环签名，完成共识。

借鉴蒙特卡洛搜索树的思想，避免数据和模型强相关导致过于中心化，领导节点选择正比贡献值与反比于选择次数，将选择节点P

下一轮领导者，选择

在本实施例中，上述步骤S702-步骤S704过程将循环进行多轮，得到最终模型。

本实施例可以解决联邦学习中公平贡献评价和激励问题，促进数据持有者参与联合训练。具体而言：

首先，在本实施例中，在联邦学习中采用了基于沙普利值的模型贡献评估策略，对沙普利值进行存证，可以解决基于数据质量评价问题，保证更多的贡献带来更多的回报。

其次，基于工作量证明的共识机制为基本思想，以沙普利值为工作量，区块链出块时选择有较高贡献值的节点为领导者负责聚合参与方的本地模型，其他节点作为验证节点，增强可信度，避免恶意攻击。

最后，为避免中心化，领导者选择时，结合蒙特卡洛搜索的思想，统筹中心化代价和贡献指标，选择最优节点。

本实施提出的基于联盟链的联邦学习贡献评估和共识机制具有以下效果：

(1)公平地评价参与方对联邦学习任务的贡献值，保证奖励结果与数据价值成正比。

(2)基于贡献值选择可信的节点进行存证工作，同时避免因数据强相关导致的多次选择统一节点的出块造成的中心化问题。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，各参与方进行模型训练获得模型参数，并将所述模型参数发送至第一领导者；

S2，所述第一领导者基于各参与方的所述模型参数，通过沙普利值确定出各参与方的工作量。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，各参与方进行模型训练获得模型参数，并将所述模型参数发送至第一领导者；

S2，所述第一领导者基于各参与方的所述模型参数，通过沙普利值确定出各参与方的工作量。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在一个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成一个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。