首页> 中国专利> 联邦学习的中毒攻击检测方法、装置及设备

联邦学习的中毒攻击检测方法、装置及设备

摘要

本申请提供一种联邦学习的模型中毒攻击检测方法、装置及设备,涉及人工智能技术领域。该方法包括:接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数;根据各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型;对聚合模型进行反演,得到聚合模型的反演数据集;根据聚合模型的反演数据集生成中毒补丁;根据中毒补丁,确定聚合模型是否是正常模型。该方法可以保证对联邦学习的模型中毒攻击检测的效率,还可以保证各终端设备中的本地数据的安全隐私。

著录项

  • 公开/公告号CN112528281A

    专利类型发明专利

  • 公开/公告日2021-03-19

    原文格式PDF

  • 申请/专利权人 浙江工业大学;

    申请/专利号CN202011463000.7

  • 申请日2020-12-11

  • 分类号G06F21/56(20130101);G06N3/04(20060101);G06N3/08(20060101);G06N20/00(20190101);

  • 代理机构33224 杭州天勤知识产权代理有限公司;

  • 代理人曹兆霞

  • 地址 310014 浙江省杭州市下城区潮王路18号

  • 入库时间 2023-06-19 10:19:37

说明书

技术领域

本申请涉及人工智能技术领域,具体而言,涉及一种联邦学习的中毒攻击检测方法、装置及设备。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在2016年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。但是,研究者发现联邦学习容易受到内部参与者的攻击,称为中毒攻击,攻击者可以扮演良性参与者上传中毒的更新到服务器,以便他可以轻松地影响性能全局模型。

目前,业界缺少有效检测联邦学习的中毒攻击的方法,从而无法达到防范恶意参与者攻击联邦学习模型的目的,使得恶意参与者攻击联邦学习模型的成功率高。因此,如何进行联邦学习的中毒攻击检测,成为当前亟需解决的问题。

发明内容

本申请的目的在于,针对上述现有技术中的不足,提供一种联邦学习的中毒攻击检测方法、装置及设备,以解决现有技中不存在如何检测联邦学习中毒攻击的方法的问题,以提升寻找中毒后门的效率,从而可以达到防范恶意参与者攻击联邦学习模型的目的。

为实现上述目的,本申请实施例采用的技术方案如下:

第一方面,本申请实施例提供了一种联邦学习的模型中毒攻击检测方法,其特征在于,所述方法包括:

接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数;

根据各所述终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型;

对所述聚合模型进行反演,得到所述聚合模型的反演数据集;根据所述聚合模型的反演数据集生成中毒补丁;

根据所述中毒补丁,确定所述聚合模型是否是正常模型。

可选地,所述对所述聚合模型进行反演,得到所述聚合模型的反演数据集,包括:

使用预设的第一目标函数,对所述聚合模型进行反演,得到所述聚合模型的反演数据集。

可选地,所述根据所述聚合模型的反演数据集,生成中毒补丁,包括:

根据所述聚合模型的反演数据集,以及所述聚合模型中的受损神经元生成中毒补丁。

可选地,所述根据所述聚合模型的反演数据集,以及所述聚合模型中的受损神经元生成中毒补丁之前,还包括:

采用预设的第二目标函数,得到所述聚合模型中的受损神经元;其中,所述受损神经元在特定的输入下会被异常激活。

可选地,所述根据各所述终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型,包括:

采用预设的模型聚合函数,对各所述终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型。

可选地,所述根据所述中毒补丁,确定所述聚合模型是否是正常模型,包括:

确定所述中毒补丁的补丁评价指标值;根据所述补丁指标值,确定所述聚合模型是否是正常模型。

可选地,所述根据所述补丁评价指标值,确定所述聚合模型是否是正常模型,包括:

若所述补丁评价指标值小于预设阈值,则确定所述聚合模型是正常模型。

可选地,所述根据所述补丁评价指标值,确定所述聚合模型是否是正常模型,包括:

若所述补丁评价指标值大于或等于预设阈值,则确定所述聚合模型是中毒模型。

第二方面,本申请实施例还提供了一种联邦学习的模型中毒攻击检测装置,所述装置包括:接收模块、聚合模块、反演模块、生成模块及确定模块;

所述接收模块,用于接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数;

所述聚合模块,用于根据各所述终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型;

所述反演模块,用于对所述聚合模型进行反演,得到所述聚合模型的反演数据集;

所述生成模块,用于根据所述聚合模型的反演数据集生成中毒补丁;

所述确定模块,用于根据所述中毒补丁,确定所述聚合模型是否是正常模型。

可选地,所述聚合模块,具体用于:

使用预设的第一目标函数,对所述聚合模型进行反演,得到所述聚合模型的反演数据集。

可选地,所述生成模块,具体用于:

根据所述聚合模型的反演数据集,以及所述聚合模型中的受损神经元生成中毒补丁。

可选地,所述生成模块,还用于:

采用预设的第二目标函数,得到所述聚合模型中的受损神经元;其中,所述受损神经元在特定的输入下会被异常激活。

可选地,所述生成模块,还用于:

采用预设的模型聚合函数,对各所述终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型。

可选地,所述确定模块,具体用于:

确定所述中毒补丁的补丁评价指标值;根据所述补丁评价指标值,确定所述聚合模型是否是正常模型。

可选地,所述确定模块,还用于:

若所述补丁评价指标值小于预设阈值,则确定所述聚合模型是正常模型。

可选地,所述确定模块,还用于:

若所述补丁评价指标值大于或等于预设阈值,则确定所述聚合模型是中毒模型。

第三方面,本申请实施例还提供了一种电子设备,包括处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行时执行如第一方面实施例提供的所述方法的步骤。

第四方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面实施例提供的所述方法的步骤。

本申请的有益效果是:

本申请提供一种联邦学习的模型中毒攻击检测方法、装置及设备,该方法包括:接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数;根据各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型;对聚合模型进行反演,得到聚合模型的反演数据集;根据聚合模型的反演数据集生成中毒补丁;根据中毒补丁,确定聚合模型是否是正常模型。在该方法中,通过对服务器侧得到的聚合模型进行反演得到反演数据集,并根据反演数据集生成中毒补丁,使得根据生成的中毒补丁判断得到聚合模型是否是正常模型,这样不需要根据终端设备中的本地数据集来生成中毒补丁,以判断服务器侧得到聚合模型是否是正常模型,保证了对联邦学习的模型中毒攻击检测的效率,还可以保证各终端设备中的本地数据的安全隐私。

另外,在根据补丁评价指标值,确定聚合模型是正常模型之后,并将该聚合模型的参数下发到各个参与联邦学习的终端设备,使得通过协作训练得到性能更好的模型,从而提高了多个参与终端设备识别的准确率,以及提高了联邦学习的可用性。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种服务器的结构示意图;

图2为本申请实施例提供的一种联邦学习的模型中毒攻击检测方法的流程示意图;

图3为本申请实施例提供的一种联邦学习的框架结构示意图;

图4为本申请实施例提供的另一种联邦学习的模型中毒攻击检测方法的流程示意图;

图5为本申请实施例提供的一种联邦学习的模型中毒攻击检测方法框架图;

图6为本申请实施例提供的另一种联邦学习的模型中毒攻击检测方法框架图;

图7为本申请实施例提供的一种联邦学习的模型中毒攻击检测装置的结构示意图。

图标:100-电子设备;101-处理器;102-存储器。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。

本申请提供下述多个实施例,来实现对联邦学习的模型后门中毒攻击的检测,通过对聚合后的模型进行模型反演,得到人工合成的训练数据集,然后,在训练数据集中寻找可能存在的中毒补丁,并对找到的补丁进行检测,以判断聚合后的模型是否中毒,有效提高寻找中毒攻击检测的效率。如下通过多个实施例进行解释说明。

图1为本申请实施例提供的一种电子设备的结构示意图,该电子设备例如可以为服务器。为便于描述,本申请以下实施例均以电子设备为服务器为例进行说明。如图1所示,服务器100包括:处理器101和存储器102。

其中,存储器102用于存储程序,处理器101调用存储器102存储的程序,以执行下面实施例提供的联邦学习的模型中毒攻击检测方法,具体实现方式和技术效果类似,如下将通过多个具体的实施例对本申请所提供的联邦学习的模型中毒攻击检测方法进行详细说明。

图2为本申请实施例提供的一种联邦学习的模型中毒攻击检测方法的流程示意图;该方法可由上述实施例提供的服务器中的处理器实现。如图2所示,该方法包括:

S201、接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数。

图3为本申请实施例提供的一种联邦学习的框架结构示意图;如图3所示,联邦学习是一种机器学习环境,其目标是在训练一个高质量的集中式模型的同时训练数据仍然分布在大量终端设备上。

例如,参与联邦学习终端设备是K个,即终端设备1、终端设备2、终端设备3、终端设备4,…,终端设备K,其中,每个终端设备从服务器获得初始的训练模型,使得每个终端设备利用本地数据进行模型训练,并在训练几轮后将每个终端设备得到模型训练参数上传至服务器,服务器对接收到的K个模型参数进行聚合,以得到最新模型,并将最新的全局模型参数下发到各个终端设备。

例如,在一些实施例中,可以通过服务器接收参与联邦学习的多个终端设备发送的终端设备侧模型的模型参数,比如,具体如下:

1)对服务器端进行初始化,设置当前t=0,使得参与联邦学习的多个终端设备从服务器获得初始的训练模型,比如,VGG16(Visual Geometry Group,视觉几何组)模型、AlexNet(一种神经网络)模型等。

在另一种可能的实现方式中,还可以手动设置参与联邦学习的多个终端设备初始的训练模型。

2)对参与联邦学习的多个终端设备进行初始化,使得参与联邦学习的多个终端设备能够利用本地数据进行模型训练,设置在终端设备侧的轮数E,学习率ε以及每轮训练的数据量B。

比如,参与联邦学习的终端设备共有K个,选取其中F(F≤K)个终端设备利用本地的数据集D

3)在训练E轮后,将训练的模型参数上传至服务器,使得服务器能够及时接收参与联邦学习的F个终端设备发送的终端设备侧模型的模型参数。

S202、根据各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型。

在一些实施例中,服务器在接收到参与联邦学习的多个终端设备发送的终端设备侧模型的模型参数之后,可以根据各终端设备侧模型的模型参数进行聚合处理,以得到服务器侧的聚合模型。

比如,1)终端中的良性参与者的目标是:

其中,(x

2)终端中的恶意参与者的目标是:

其中,(x

需要说明的是,添加的中毒攻击方法R可以包括:BadNets(一个反向涂鸦的神经网络)中毒攻击:在原网络结构未知的情况下,通过修改训练图像中像素值,就能使得神经网络在测试阶段表现行为异常;AIS(Accessory Injection strategy)、BIS(BlendedInjection strategy)中毒攻击:攻击者在不知道被攻击模型或其训练数据的情况下,可以通过添加少量中毒样本,实现针对性攻击。

根据各终端设备上传的模型参数进行模型聚合,聚合公式如下:

其中,G

S203、对聚合模型进行反演,得到聚合模型的反演数据集。

可选的,在得到聚合模型之后,服务器侧根据聚合模型的聚合参数更新全局模型,以得到最新模型,并将最新的全局模型参数下发到参与联邦学习的多个终端设备,有效保证了各终端设备中的本地数据的安全与隐私,同时,还能够达到了通过多个参与的终端设备协作训练以得到性能更好的模型的效果。

在本实施例中,在得到服务器侧的聚合模型之后,并对该聚合模型进行反演,以得到聚合模型的反演数据集。其中,反演含义为:利用已知模型和标签,反向推出模型训练集的图像方法:初始设置一个噪声,通过模型置信度和目标标签不断优化噪声图像,使得噪声图像针对目标标签的置信度不断提升,当拟合时,可得到与原图像相似的噪声图像。

需要说明的是,对聚合模型进行反演得到的反演数据集不是参与联邦学习的多个终端设备的本地数据,这样有效保证了各终端设备中的本地数据集的安全隐私。

S204、根据聚合模型的反演数据集生成中毒补丁。

可选的,采用基于AI(Artificial Intelligence,人工智能)的神经网络扫描技术,可判断训练模型是否被后门攻击。首先,需要获取到训练好的神经网络,并根据训练数据集寻找到受损神经元。然后,再根据受损神经元和训练数据集生成中毒补丁,接下来对中毒补丁进行评价,使得能够根据评价指标来判断模型是否是中毒模型,主要应用于单个模型的训练,并需要大量的本地训练数据。但是采用这项技术,在针对联邦学习中模型中毒攻击检测时,无法获取多个终端设备的本地数据,导致无法解决对聚合模型的中毒攻击检测。

在本实施例中,在得到聚合模型的反演数据集之后,还可以根据聚合模型的反演数据集生成中毒补丁。

需要说明的是,本实施例是根据反演数据集生成中毒补丁,不同于基于AI的神经网络扫描技术中是根据本地训练数据集寻找到受损神经元。也就是说,与一般的入侵检测模型相比,通过根据聚合模型的反演数据集生成中毒补丁,有效保证了各终端设备的本地数据的安全隐私。

S205、根据中毒补丁,确定聚合模型是否是正常模型。

在本实施例中,在根据聚合模型的反演数据集生成中毒补丁之后,还可以根据中毒补丁,进一步确定聚合模型是否是正常模型,大大提升寻找中毒后门的效率,另外,该方法还保证了数据安全隐私。

综上所述,本申请实施例提供了一种联邦学习的模型中毒攻击检测方法,该方法包括:接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数;根据各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型;对聚合模型进行反演,得到聚合模型的反演数据集;根据聚合模型的反演数据集生成中毒补丁;根据中毒补丁,确定聚合模型是否是正常模型。在该方法中,通过对服务器侧得到的聚合模型进行反演得到聚合模型的反演数据集,并根据反演数据集生成中毒补丁,使得根据生成的中毒补丁判断得到聚合模型是否是正常模型,这样不需要根据终端设备中的本地数据集来生成中毒补丁,以判断服务器侧得到聚合模型是否是正常模型,保证了对联邦学习的模型中毒攻击检测的效率,还可以保证各终端设备中的本地数据的安全隐私。

可选地,对聚合模型进行反演,得到聚合模型的反演数据集,包括:

使用预设的第一目标函数,对聚合模型进行反演,得到聚合模型的反演数据集。

例如,采用的预设的第一目标函数,如下:

其中,f为服务器端的聚合模型G

具体的,在得到模型聚合之后,可以采用上述预设的第一目标函数对聚合模型进行反演,能够得到聚合模型的反演数据集D

可选地,根据聚合模型的反演数据集,找出聚合模型中的受损神经元,具体包括:

例如,采用的预设的第二目标函数,如下:

c

其中,c为神经元,c

具体的,由于受损神经元在特定的输入下会被异常激活,所以,可以采用预设的第二目标函数,得到聚合模型中的受损神经元。

可选地,根据聚合模型的反演数据集生成中毒补丁,包括:

根据聚合模型的反演数据集,以及聚合模型中的受损神经元生成中毒补丁。

例如,利用受损神经元以及反演数据集D

M=argmax

其中,M为利用受损神经元的梯度生成的中毒补丁,c

可选地,根据各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型,包括:采用预设的模型聚合函数,对各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型。

例如,采用的模型聚合函数,如下:

其中,G

具体的,将深度神经网络的训练分布在K个参与的终端设备之间,在每一轮t迭代的过程中,服务器随机选择F个参与者的子集,并向它们发送当前的联合模型G

图4为本申请实施例提供的另一种联邦学习的模型中毒攻击检测方法的流程示意图;如图4所示,在上述步骤S205:根据中毒补丁,确定聚合模型是否是正常模型,具体包括:

S401、确定中毒补丁的补丁评价指标值。

为了检测离群值,可以使用了一种基于中位数绝对偏差确定中毒补丁的补丁评价指标值。

首先,计算所有数据点和中位数之间的绝对偏差,这些绝对偏差的中位数称为MAD,并且提供了一种可靠的分散分布度量。

然后,再将数据点的补丁评价指标值定义为数据点的绝对偏差除以MAD,即如下所示:

其中,df是补丁评价指标值。其中MAD可以采用如下公式进行计算:

其中,MAD为绝对偏差的中位数,mask为中毒补丁的掩码,由0和1填充,N类数据集共有N个mask,l为掩码的索引。

若mask的值越小,说明中毒的可能性越大,引入补丁评价指标值df,mask的最小值减去绝对中位差以绝对偏差MAD。

S402、根据补丁评价指标值,确定聚合模型是否是正常模型。

在一些实施例中,在得到补丁评价指标值,可以根据补丁评价指标值df,进一步确定聚合模型是否是正常模型,例如,可以设定补丁评价指标值大于或等于预设阈值,则判定聚合模型是中毒模型。

比如,计算得到补丁评价指标值df是3,预设阈值为2,则可以判断补丁评价指标值大于预设阈值,即3>2,确定聚合模型是中毒模型。

可选地,根据补丁评价指标值,确定聚合模型是否是正常模型,包括:若补丁评价指标值小于预设阈值,则确定聚合模型是正常模型。

在一种可能实现的方式中,比如,计算得到补丁评价指标值df是1,预设阈值为2,则可以判断补丁评价指标值小于预设阈值,即1<2,确定聚合模型是正常模型,将该聚合模型的参数下发到各个参与终端设备,使得通过协作训练多个参与终端设备均可以得到性能更好的模型,从而提高了参与终端设备识别的准确率,以及提高了联邦学习的可用性。

可选地,根据补丁评价指标值,确定聚合模型是否是正常模型,包括:若补丁评价指标值大于或等于预设阈值,则确定聚合模型是中毒模型。

在另一种可能实现的方式中,比如,若计算得到的补丁评价指标值大于或等于预设阈值,则可以确定聚合模型是中毒模型,可以提升后门中毒检测的效率。

以下结合具体的数据集示例,对本申请的联邦学习的模型中毒攻击检测检测过程进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。

图5为本申请实施例提供的一种联邦学习的模型中毒攻击检测方法框架图;如图5所示,参与联邦学习的终端设备有16个,图中仅示出了5个终端设备,且每一个终端设备中的数据集均是MNIST(Mixed National Institute of Standards and Technologydatabase)数据集(MNIST是一个手写体数字的图片数据集),选取的训练模型为AlexNet,具体过程如下所示:

1)对服务器端进行初始化,设置当前t=0

2)对每一个终端设备进行初始化,采用选取的AlexNe模型对这5个终端设备中的MNIST数据集进行训练。

其中,设置在终端设备侧的训练轮数E=10,学习率ε=0.1以及每轮训练的数据量B=16。

3)选取其中4个终端设备中的本地的数据集D

比如,良性参与的终端设备目标是上述公式(1)所示例。

恶意参与的终端设备的目标是上述公式(2)所示例。

4)将选取的4个终端设备训练得到的模型参数上传至服务器,并在服务器中进行模型聚合,聚合公式为上述公式(3)。

5)聚合后得到聚合模型G

6)寻找聚合模型中的受损神经元,受损神经元在特定的输入下会被异常激活,目标函数为上述公式(5)。

7)根据获得的模型反演数据集D

8)在获得中毒补丁之后,确定中毒补丁的补丁评价指标值,计算公式为上述公式(7)和公式(8)。

比如,可以根据补丁评价指标值,确定聚合模型是否是正常模型,若若补丁评价指标值小于预设阈值,则确定聚合模型是正常模型,则可以将该聚合模型下发给参与联邦学习的这5个终端设备。

若补丁评价指标值大于或等于预设阈值,则确定聚合模型是中毒模型。

图6为本申请实施例提供的另一种联邦学习的模型中毒攻击检测方法框架图;如图6所示,参与联邦学习的终端设备有16个,图中仅示出了5个终端设备,且每一个终端设备中的数据集均是CIFAR10数据集(一个用于普适物体识别的计算机视觉数据集),选取的训练模型为AlexNet,具体过程如下所示:

1)对服务器端进行初始化,设置当前t=0

2)对每一个终端设备进行初始化,采用选取的VGG16模型对这5个终端设备中的CIFAR10数据集进行训练。

其中,设置在终端设备侧的训练轮数E=30,学习率ε=0.01以及每轮训练的数据量B=32。

3)选取其中4个终端设备中的本地的数据集D

比如,良性参与的终端设备目标是是上述公式(1)所示例。

恶意参与参与的终端设备的目标是上述公式(2)所示例。

4)将选取的4个终端设备训练得到的模型参数上传至服务器,并在服务器中进行模型聚合,聚合公式为上述公式(3)。

5)聚合后得到聚合模型G

6)寻找聚合模型中的受损神经元,受损神经元在特定的输入下会被异常激活,目标函数为上述公式(5)。

7)根据获得的模型反演数据集D

8)在获得中毒补丁之后,确定中毒补丁的补丁评价指标值,计算公式为上述公式(7)和公式(8)。

比如,根据补丁评价指标值,确定聚合模型是否是正常模型,若若补丁评价指标值小于预设阈值,则确定聚合模型是正常模型,则可以将该聚合模型下发给参与联邦学习的这5个终端设备。

若补丁评价指标值大于或等于预设阈值,则确定聚合模型是中毒模型。

下述对用以执行本申请所提供的联邦学习的模型中毒攻击检测的装置及存储介质等进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。

图7为本申请实施例提供的一种联邦学习的模型中毒攻击检测装置的结构示意图;如图7所示,该装置包括:接收模块701、聚合模块702、反演模块703、生成模块704及确定模块705;

接收模块701,用于接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数;

聚合模块702,用于根据各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型;

反演模块703,用于对聚合模型进行反演,得到聚合模型的反演数据集;

生成模块704,用于根据聚合模型的反演数据集生成中毒补丁;

确定模块705,用于根据中毒补丁,确定聚合模型是否是正常模型。

可选地,聚合模块702,具体用于:

使用预设的第一目标函数,对聚合模型进行反演,得到聚合模型的反演数据集。

可选地,生成模块704,具体用于:

根据聚合模型的反演数据集,以及聚合模型中的受损神经元生成中毒补丁。

可选地,生成模块704,还用于:

采用预设的第二目标函数,得到聚合模型中的受损神经元;其中,受损神经元在特定的输入下会被异常激活。

可选地,生成模块704,还用于:

采用预设的模型聚合函数,对各终端设备侧模型的模型参数进行聚合处理,得到服务器侧的聚合模型。

可选地,确定模块705,具体用于:

确定中毒补丁的补丁评价指标值;根据补丁评价指标值,确定聚合模型是否是正常模型。

可选地,确定模块705,还用于:

若补丁评价指标值小于预设阈值,则确定聚合模型是正常模型

可选地,确定模块705,还用于:

若补丁评价指标值大于或等于预设阈值,则确定聚合模型是中毒模型。

上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。

可选地,本申请还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号