适用于边缘车联网的区块链赋能联邦学习系统

摘要

本发明提出适用于边缘车联网的区块链赋能联邦学习系统，该区块链系统包括：边缘车辆设备、边缘服务器、任务发布者、云端服务器；车联网中的移动车辆定义为边缘车辆设备，所有边缘车辆设备和边缘服务器分别注册为区块链角色，再连同任务发布者、云端服务器等共同形成区块链系统的参与者；参与者中的边缘车辆设备集合{1,2,...,K}和移动边缘服务器集合{1,2,...,L}，按照区块链架构功能，分为模型节点和共识节点两类。区块链系统的区块链架构自动协调每个模型节点的加入和离开，促进联邦学习的独立性和模块化。

说明书

技术领域

本发明涉及联邦学习和隐私计算领域，特别涉及一种车联网场景下区块链和移动边缘计算赋能的差分联邦学习框架。

背景技术

下一代车联网系统中，传统以云为中心的数据共享方法要求从联网设备收集原始数据，并统一由云服务器集中处理和汇总。然而，在私人数据的传输和共享过程中，不可避免地产生隐私问题。此外，将数据传输到云端不仅会给骨干网络带来严重负担，还会导致大量的计算和存储开销。因此，设计高效的数据共享机制对于车联网系统至关重要。

联邦学习作为边缘机器学习最具吸引力的范例之一，允许分布式设备能够协同训练全局模型的同时，保证隐私数据的本地化处理。与集中式学习模式相比，联邦学习可以有效地保护用户隐私和数据安全，避免了隐私敏感数据在无线信道上的传输。因此，联邦学习可作为一种相当有前景的方法应用到车联网场景中。然而，传统基于联邦学习的车联网系统存在以下缺陷:

首先，联邦学习系统一般面临着恶意参与者的攻击问题，其不仅包括1)推理攻击，即恶意参与者试图从模型更新中推断出与他人本地隐私相关的敏感信息；2)模型投毒，即恶意参与者利用其精心设计的攻击模型来替换更新模型，从而毒害协作模型。

其次，随着车联网系统中终端设备数量的指数级增长，基于云端的联邦聚合方式不可避免地会产生通信开销、时延约束以及和网络拥塞问题。即便在有些工作中将聚合中心下沉到设备边缘，然而，由于单个边缘服务器访问的设备数量有限，不可避免地会导致训练性能的损失。

发明内容

针对车联网场景下联邦学习系统中存在的隐私及安全问题，本发明提出一种区块链和移动边缘计算赋能的差分联邦学习框架。

为了实现上述目的，本发明所采用的具体技术方案：

适用于边缘车联网的区块链赋能联邦学习框架设计方法，包括：

S1首先，基于区块链架构创建一个联邦学习参与者管理系统，其中终端设备和边缘服务器注册为模型节点和共识节点的角色。

S2在联邦梯度上传阶段，模型节点利用差分隐私技术对参数进行扰动，以防止窃听者通过分析局部梯度来推断重要的隐私信息。

S3在聚合阶段，共识节点通过构造基于自可靠性的恶意模型检测机制保证参与者的诚实性。

S4通过引入基于分层结构的模型聚合方案，即在云端进一步整合共识节点的聚合模型，保证联邦训练质量的同时，降低设备与云端的通信开销。

S5最后，共识节点通过执行共识协议将训练涉及交易记录写入区块链。

基于上述设计方法，实现的一种适用于边缘车联网的区块链赋能联邦学习系统，该区块链系统包括：边缘车辆设备、边缘服务器、任务发布者、云端服务器；车联网中的移动车辆定义为边缘车辆设备，所有边缘车辆设备和边缘服务器分别注册为区块链角色，再连同任务发布者、云端服务器等共同形成区块链系统的参与者；参与者中的边缘车辆设备集合{1,2,...,K}和移动边缘服务器集合{1,2,...,L}，按照区块链架构功能，分为模型节点和共识节点两类。

所述模型节点是指负责用私有数据提供本地模型更新训练的边缘车辆设备，为了扰动上传的梯度，在边缘车辆设备(模型节点)上运行联邦学习隐私保护机制。

所述共识节点由具有高计算和存储能力的边缘服务器组成，其具有支持区块链系统中区块链协议的完整功能，主要负责交易确认、数据存储和生成验证交易，运行联邦学习恶意节点检测机制、以及执行共识机制。相应的，在云端服务器上执行分层联邦学习聚合策略。

模型节点与共识节点之间的关联关系可以随时间动态变化，即在不同的训练轮次内动态变化。模型节点与共识节点之间的关联会随着模型节点位置的变化而动态调整，其通常由车联网系统中设备的移动性决定。当模型节点改变与共识节点的关联关系时，其会向新共识节点反馈旧关联共识节点的ID，以便新共识节点通知旧节点更新其关联表。

所述区块链系统，其区块链架构可自动协调每个模型节点的加入和离开，从而进一步促进联邦学习的独立性和模块化。

所述任务发布者以模型请求交易的形式发布联邦任务，该任务由发布者完成私钥签名，其中包括发布者ID、请求数据类别、初始全局模型参数、停止标准、奖励和时间戳，并将其发送到附近的共识节点。一旦共识节点接收到模型请求，它将验证任务发布者的身份，并将此请求和测试数据广播给所有其他共识节点。共识节点根据任务请求者需求与每个模型节点拥有数据之间的相关性，选择当前训练轮次的训练者。

所述联邦学习隐私保护机制为一种基于差分隐私技术的联邦学习隐私保护机制，其主要在联邦梯度上传阶段，模型节点利用参数扰动来防止窃听者通过分析局部梯度来推断重要隐私信息。

所述联邦学习系统具体为：每个模型节点k∈{1,2,...,K}存有本地数据集D

联邦学习差分梯度聚合算法可描述为一个迭代计算模型。对于单共识节点的联邦学习梯度聚合算法，其第n轮迭代的具体过程如下：

1)共识节点参照任务发布者请求数据类别选择当前训练轮次的训练节点集合，表示为

2)模型节点获取共识节点广播的当前轮次全局参数w

3)对于每个样本

4)模型节点k生成加噪梯度

5)共识节点计算本轮的全局模型为

所述联邦学习恶意节点检测机制为一种基于自可靠性的联邦学习恶意节点检测机制，其主要用于当每个共识节点积累了一定数量的本地更新时，执行恶意更新移除机制来消除恶意模型节点的影响。具体为：

假设每个共识节点负责足够数量的训练节点(即选中参与训练的模型节点)，每个训练节点在每个聚合间隔内向附近的共识节点发送自己的本地更新(正常节点发送差分更新，恶意节点发送任意更新)。在第n轮迭代，共识节点通过计算训练节点的自可靠度来估计节点是否为恶意，计算为

其中，

式中，sign(·)表示符号函数。通过设定可靠性阈值

共识节点将每个模型节点的行为以验证交易的形式写入本地区块，包括模型节点ID、共识节点ID、模型哈希值、自可靠性以及时间戳，以供后续审计。

所述分层联邦学习聚合策略为一种基于模型质量的分层联邦学习聚合策略，由云端服务器整合所有共识节点的聚合模型生成全局模型。

基于模型质量的分层联邦学习聚合策略，具体为：

每个共识节点l∈{1,2,...,L}基于联邦学习恶意节点检测机制过滤恶意节点后，假设共识节点l正常节点集合表示为

其中，

最后，云端服务器聚合后的全局模型再通过共识节点发送到各模型节点。

云端服务器通过分层联邦学习聚合策略，可极大降低设备与云端的通信开销，减轻骨干网负担。

所述共识机制为一种低开销的区块链共识机制设计，运行于共识节点。具体来说，在每次迭代中，一旦所有共识节点l对所属设备模型节点实现初步聚合，即

本发明的优点在于，通过集成移动边缘技术，降低设备与云端的通信开销，从而减轻骨干网负担。同时，本发明联邦学习系统，通过将区块链架构和恶意模型检测机制引入到模型训练阶段，因此具有更为出色的准确性、鲁棒性、安全性及可追溯性。

附图说明

图1车联网场景下区块链和移动边缘计算赋能的差分联邦学习框架

图2区块链赋能的联邦学习系统的关系和作用流程图

具体实施方式

下面将结合说明书附图，对本发明做进一步的说明。

一种适用于边缘车联网的区块链赋能联邦学习系统，该区块链系统包括：边缘车辆设备、边缘服务器、任务发布者、云端服务器；

在本实施例中，车联网中的移动车辆定义为边缘车辆设备，所有边缘车辆设备和边缘服务器分别注册为区块链角色，再连同任务发布者、云端服务器等共同形成区块链系统的参与者。边缘服务器可以包括无人机、基站等。

参与者中的边缘车辆设备集合{1,2,...,K}和移动边缘服务器集合{1,2,...,L}，按照区块链架构功能，分为模型节点和共识节点两类。

模型节点是指负责用私有数据提供本地模型更新训练的边缘车辆设备，为了扰动上传的梯度，在边缘车辆设备(模型节点)上运行联邦学习隐私保护机制(聚合验证模型算法)。

共识节点由具有高计算和存储能力的边缘服务器组成，其具有支持区块链系统中区块链协议的完整功能，主要负责交易确认、数据存储和生成验证交易，运行联邦学习恶意节点检测机制、以及执行共识机制。相应的，在云端服务器上执行分层联邦学习聚合策略。

共识节点通过独立的接口通过高数据速率链路相互连接，其中连接类型可能包括有线链路、无线点对点链路和有线无线混合中继链路，从而保证区块链中的安全性和有效性。两个特定共识节点之间的连接类型由两个节点周围的环境决定。例如，在节点间距离较短的情况下，可采用传统的无线链路，而在复杂的环境下，则采用有线链路。

模型节点根据当前网络状态，选择合适的共识节点并通过无线通信与之关联。

区块链系统，其区块链架构可自动协调每个模型节点的加入和离开，从而进一步促进联邦学习的独立性和模块化。当有新模型节点参与时，其以区块链的注册交易形式注册其基本信息，包括数据概况、数据类型和数据大小，并由共识节点通过默克尔树验证，得到其匿名公钥及其对应的秘钥。利用身份(ID)机制，每个模型节点根据哈希向量持有其唯一ID。持有相似数据集的模型节点具有相似的ID，以方便共识节点可以轻松筛选具有相似数据集的模型节点。一旦注册成功，新模型节点即可变成模型节点，并与附近的共识节点相关联。每个共识节点在本地维持一个关联节点表，该表存储与之关联的所有模型节点的主要信息，包括节点ID、节点描述等。

模型节点与共识节点之间的关联关系可以随时间动态变化，即在不同的训练轮次内动态变化。模型节点与共识节点之间的关联基于距离准则，即模型节点与最近的共识节点相关联。因此，模型节点与共识节点之间的关联会随着模型节点位置的变化而动态调整，其通常由车联网系统中设备的移动性决定。当模型节点改变与共识节点的关联关系时，其会向新共识节点反馈旧关联共识节点的ID，以便新共识节点通知旧节点更新其关联表。

任务发布者以模型请求交易的形式发布联邦任务，该任务由发布者完成私钥签名，其中包括发布者ID、请求数据类别、初始全局模型参数、停止标准、奖励和时间戳，并将其发送到附近的共识节点。假设任务发布者有少量的测试数据集，该数据集将被秘密发送到附近的共识节点，以方便后续的恶意节点过滤。一旦共识节点接收到模型请求，它将验证任务发布者的身份，并将此请求和测试数据广播给所有其他共识节点。测试数据集对所有参与的模型节点是不可见的，以防恶意模型节点根据测试数据集的特征进行有针对性的训练模型，混淆后续的评估。最后，共识节点根据任务请求者需求与每个模型节点拥有数据之间的相关性，选择当前训练轮次的训练者。

所述联邦学习隐私保护机制为一种基于差分隐私技术的联邦学习隐私保护机制，其主要在联邦梯度上传阶段，模型节点利用参数扰动来防止窃听者通过分析局部梯度来推断重要隐私信息。

具体为：

每个模型节点k∈{1,2,...,K}存有本地数据集D

联邦学习差分梯度聚合算法可描述为一个迭代计算模型。对于单共识节点的联邦学习梯度聚合算法，其第n轮迭代的具体过程如下：

1)共识节点参照任务发布者请求数据类别选择当前训练轮次的训练节点集合，表示为

2)模型节点获取共识节点广播的当前轮次全局参数w

3)对于每个样本

4)模型节点k生成加噪梯度

5)共识节点计算本轮的全局模型为

所述联邦学习恶意节点检测机制为一种基于自可靠性的联邦学习恶意节点检测机制，其主要用于当每个共识节点积累了一定数量的本地更新时，执行恶意更新移除机制来消除恶意模型节点的影响。

具体为：

假设每个共识节点负责足够数量的训练节点(即选中参与训练的模型节点)，每个训练节点在每个聚合间隔内向附近的共识节点发送自己的本地更新(正常节点发送差分更新，恶意节点发送任意更新)。在第n轮迭代，共识节点通过计算训练节点的自可靠度来估计节点是否为恶意，计算为

其中，

式中，sign(·)表示符号函数。

通过设定可靠性阈值

共识节点将每个模型节点的行为以验证交易的形式写入本地区块，包括模型节点ID、共识节点ID、模型哈希值、自可靠性以及时间戳，以供后续审计。

所述分层联邦学习聚合策略为一种基于模型质量的分层联邦学习聚合策略，由云端服务器整合所有共识节点的聚合模型生成全局模型。

基于模型质量的分层联邦学习聚合策略，具体为：

每个共识节点l∈{1,2,...,L}基于联邦学习恶意节点检测机制过滤恶意节点后，假设共识节点l正常节点集合表示为

其中，

随后，所有共识节点将初步聚合模型交付给云端服务器，从而可由云端服务器综合所有共识节点的初步聚合结果，聚合生成本轮的全局模型，表示为

最后，云端服务器聚合后的全局模型再通过共识节点发送到各模型节点。

云端服务器通过分层联邦学习聚合策略，可极大降低设备与云端的通信开销，减轻骨干网负担。

进一步优化，本发明系统还包括共识机制。所述共识机制为一种低开销的区块链共识机制设计，运行于共识节点。

上述联邦学习梯度聚合算法训练过程结束之后，所有共识节点，即边缘服务器，通过共识协议竞争将本地区块写入区块链系统的资格。赢得竞争的节点称为领导者，其将本地区块广播给其他共识节点验证。

一旦验证通过，区块将被添加到区块链中。为此，共识协议设计标准基于测试数据集中每个共识节点的准确性表现，以提高计算效率和联邦学习系统性能。具体来说，在每次迭代中，一旦所有共识节点l对所属设备模型节点实现初步聚合，即

领导者将接收到的所有交易集合成一个本地区块，负责推动共识过程，并将区块广播到区块链的所有共识节点进行验证。如果包含所有交易的区块得到每个共识节点的成功验证，则区块数据用领导者的签名，并存储在区块链中。

上述描述仅是对本申请较佳实施例的描述，并非是对本申请范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本申请技术方案保护的范围。