首页> 中国专利> 基于隐私数据保护的多目标融合学习方法、装置和系统

基于隐私数据保护的多目标融合学习方法、装置和系统

摘要

本说明书实施例提供一种基于隐私数据保护的多目标融合学习方法、装置和系统,该方法包括:云端获取多个本地端进行融合学习时的多个学习目标,确定多个学习目标对应的多个隐含层参数,并将多个隐含层参数下发给多个本地端,多个本地端中任一个本地端可以基于神经网络模型,以及云端下发的多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,并将学习得到的与多个隐含层参数对应的多个更新后隐含层参数共享至云端,由云端对不同学习目标的更新后隐含层参数进行整合,在整合后的隐含层参数满足预设条件时,将整合后的隐含层参数发送给对应本地端,由本地端结合自己的学习目标得到目标模型。

著录项

  • 公开/公告号CN110874637A

    专利类型发明专利

  • 公开/公告日2020-03-10

    原文格式PDF

  • 申请/专利权人 支付宝(杭州)信息技术有限公司;

    申请/专利号CN202010048787.4

  • 发明设计人 刘磊;

    申请日2020-01-16

  • 分类号

  • 代理机构北京国昊天诚知识产权代理有限公司;

  • 代理人许振新

  • 地址 310000 浙江省杭州市西湖区西溪路556号8层B段801-11

  • 入库时间 2023-12-17 05:18:29

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-04-28

    授权

    授权

  • 2020-04-03

    实质审查的生效 IPC(主分类):G06N3/08 申请日:20200116

    实质审查的生效

  • 2020-03-10

    公开

    公开

说明书

技术领域

本文件涉及机器学习领域,尤其涉及一种基于隐私数据保护的多目标融合学习方法、装置和系统。

背景技术

通常,本地端在需要获取其他本地端的数据进行学习的情况下,为了保证数据隐私性和安全性,多个本地端可以结合云端进行融合学习,比如联邦学习等。在融合学习中,多个本地端可以基于本地数据进行学习,并将学习的结果共享给云端,从而实现融合学习的目的。

一般地,多个本地端在进行融合学习时,学习目标通常是相同的,比如,多个本地端的学习目标均为训练得到相同的模型。然而,在实际的很多应用场景下,不同本地端的学习目标有可能不同,而目前还缺少一种有效地方案可以实现融合学习场景下多目标学习的目的。

发明内容

本说明书实施例提供一种基于隐私数据保护的多目标融合学习方法、装置和系统,用于解决在融合学习的场景下,无法有效地进行多目标学习的问题。

为解决上述技术问题,本说明书实施例是这样实现的:

第一方面,提出一种基于隐私数据保护的多目标融合学习方法,包括:

云端基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;将所述多个隐含层参数发送给所述多个本地端;

所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;将所述多个更新后隐含层参数发送给所述云端;

所述云端对所述多个本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端;

所述本地端基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第二方面,提出一种基于隐私数据保护的多目标融合学习方法,应用于云端,包括:

基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收由所述多个本地端分别发送的多个更新后隐含层参数;

对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第三方面,提出一种基于隐私数据保护的多目标融合学习装置,应用于云端,包括:

确定单元,基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

第一发送单元,将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收单元,接收由所述多个本地端分别发送的多个更新后隐含层参数;

整合单元,对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

第二发送单元,针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第四方面,提出一种电子设备,该电子设备包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,该可执行指令在被执行时使该处理器执行以下操作:

基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收由所述多个本地端分别发送的多个更新后隐含层参数;

对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第五方面,提出一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下方法:

基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收由所述多个本地端分别发送的多个更新后隐含层参数;

对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第六方面,提出一种基于隐私数据保护的多目标融合学习方法,应用于本地端,包括:

接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第七方面,提出一种基于隐私数据保护的多目标融合学习装置,应用于本地端,包括:

第一接收单元,接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

学习训练单元,基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

发送单元,将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

第二接收单元,接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

确定单元,基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第八方面,提出一种电子设备,该电子设备包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,该可执行指令在被执行时使该处理器执行以下操作:

接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第九方面,提出一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下方法:

接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

第十方面,提出一种基于隐私数据保护的多目标融合学习系统,包括云端和多个本地端,其中:

所述云端基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;将所述多个隐含层参数发送给所述多个本地端;

所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到多个更新后隐含层参数;将所述多个更新后隐含层参数发送给所述云端;

所述云端对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后参数;针对任一个学习目标对应的整合后参数,在确定所述整合后参数满足预设条件时,将所述整合后参数发送给对应的本地端;

所述本地端基于所述整合后参数,确定与所述本地端的学习目标对应的目标模型。

本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下技术效果:

本说明书一个或多个实施例提供的技术方案,多个本地端在进行多目标融合学习时,由于任一个本地端可以基于神经网络模型和云端下发的隐含层参数对本地隐私数据进行多目标学习训练,并将学习得到的多个更新后隐含层参数发送至云端,由云端对更新后隐含层参数进行整合,并在确定任一学习目标对应的整合后隐含层参数满足预设条件时,将整合后隐含层参数下发给对应本地端,由本地端结合自己的学习目标得到目标模型,因此,可以通过多个本地端向云端共享隐含层参数和云端对隐含层参数进行整合的方式,有效地实现多个本地端进行多目标融合学习的目的。此外,在融合学习的过程中,由于多个本地端不会将本地隐私数据进行共享,因此,还可以保证多个本地端本地隐私数据的安全性。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种示意性的系统架构示意图;

图2是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图;

图3是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图;

图4是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图;

图5是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图;

图6是本说明书的一个实施例电子设备的结构示意图;

图7是本说明书的一个实施例基于隐私数据保护的多目标融合学习装置的结构示意图;

图8是本说明书的一个实施例电子设备的结构示意图;

图9是本说明书的一个实施例基于隐私数据保护的多目标融合学习装置的结构示意图;

图10是本说明书的一个实施例基于隐私数据保护的多目标融合学习系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。

在融合学习(比如联邦学习等)的场景中,在保护本地端隐私数据安全的基础上,为了实现多目标融合学习的目的,本说明书实施例提供一种基于隐私数据保护的多目标融合学习方法、装置和系统。本说明书实施例提供的基于隐私数据保护的多目标融合学习方法可以电子设备执行,该电子设备可以是终端设备或服务端设备。换言之,所述方法可以由安装在终端设备或服务端设备上的软件或硬件来执行。所述服务端设备包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述终端设备包括但不限于:智能手机、个人电脑(personal computer,PC)、笔记本电脑、平板电脑、电子阅读器、网络电视、可穿戴设备等智能终端设备中的任一种。

下面结合图1对本说明书实施例提供的技术方案的一种可能的应用场景进行说明。

如图1所示,本说明书实施例提供的一种系统架构包括:云端11和本地端12、本地端13、……、本地端1N(N为大于2的整数,具体可以根据实际的本地端个数确定)。其中,多个本地端可以通过网络与云端11相连,以进行数据交互,多个本地端之间也可以通过网络相连(图中未示出),一个本地端可以提供本地隐私数据,但多个本地端之间不进行隐私数据的交互,在多目标融合学习的场景中,多个本地端的学习目标为多个。

在图1所示的应用场景中,云端11和本地端12、本地端13、……、本地端1N可以作为本说明书实施例提供的一种基于隐私数据保护的多目标融合学习方法的执行主体。在一种更为具体地应用场景中,云端11可以代表中心化的机构,本地端12、本地端13、……、本地端1N可以代表能够提供隐私数据的N个业务机构。

以下结合附图,详细说明本说明书各实施例提供的技术方案。

图2是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图。该方法可以应用于如图1所示的云端11和本地端12、本地端13、……、本地端1N,该方法可以包括:

S202:云端基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;将所述多个隐含层参数发送给所述多个本地端。

在S202中,多个本地端在进行多目标融合学习时,云端可以获取多个本地端融合学习时的多个学习目标。其中,云端可以主动从多个本地端获取多个学习目标,或者,也可以是多个本地端将自己的学习目标主动上传至云端,这里不做具体限定。

本实施例中,一个本地端的学习目标可以是一个,也可以是多个,不同本地端的学习目标可以相同,也可以不同,这里可以以一个本地端有一个学习目标,且不同本地端之间的学习目标不同为例进行说明。

云端在获取到多个学习目标后,可以基于多个学习目标,确定与多个学习目标对应的多个隐含层参数。其中,隐含层参数可以理解为神经网络模型中的隐含层的参数,一个隐含层参数可以对应一个学习目标,且一个隐含层参数可以用于本地端基于具有该隐含层参数的神经网络模型对本地隐私数据进行一个学习目标的学习训练。

本实施例中,云端在基于多个学习目标确定多个隐含层参数时,至少可以通过以下两种方法实现:

第一种方法:

基于多个学习目标,从预先得到的多个标准隐含层参数中确定与多个学习目标对应的多个隐含层参数。

具体地,云端可以预先根据多个不同的学习目标,存储与多个不同的学习目标对应的多个标准隐含层参数。其中,该多个标准隐含层参数可以基于历史数据预先学习得到,也可以通过历史经验确定得到,还可以通过其他方式得到,这里不做具体限定。

云端在预先存储多个标准隐含层参数后,在获取到多个本地端的多个学习目标时,可以基于多个学习目标从预选存储的多个标准隐含层参数中查找对应的标准隐含层参数,并将查找到的标准隐含层参数作为与多个本地端的多个学习目标对应的多个隐含层参数。

第二种方法:

基于多个学习目标,利用神经网络模型对预先存储的多个本地端的数据进行学习训练,得到与多个学习目标对应的多个隐含层参数。

具体地,云端可以预先存储多个本地端中的数据,这些数据可以是多个本地端中可以共享的且可以用于进行多目标融合学习的数据。这样,当云端获取到多个本地端的多个学习目标时,可以基于神经网络模型对预先存储的多个本地端中的数据进行多个学习目标的学习训练,在训练结束后,可以得到与多个学习目标对应的多个隐含层参数。

需要说明的是,云端在基于神经网络模型对预先存储的多个本地端中的数据进行多个学习目标的学习训练时,在一种实现方式中,云端可以基于一个神经网络模型对预先存储的多个本地端的数据进行学习训练,该一个神经网络模型的学习训练目标可以是多个本地端的多个学习目标;在另一种实现方式中,云端可以基于多个神经网络模型对预先存储的多个本地端的数据进行学习训练,其中,一个神经网络模型可以用于对预先存储的多个本地端的数据进行一个学习目标的学习训练。

针对上述两种方法,在实际应用中,在云端中没有预先存储多个本地端的数据的情况下,优先可以选择上述第一种方法确定得到多个隐含层参数,在云端中预先存储多个本地端的数据的情况下,优先可以选择上述第二种方法确定得到多个隐含层参数。当然,在云端中预先存储多个本地端的数据的情况下,也可以选择上述第一种方法确定得到多个隐含层参数。

云端在确定得到与多个学习目标对应的多个隐含层参数后,可以将多个隐含层参数发送给多个本地端。其中,云端在向多个本地端发送多个隐含层参数时,针对任一个本地端而言,云端可以将多个隐含层参数进行发送,即一个本地端可以接收到来自云端的多个隐含层参数。这样,可以便于任一个本地端基于多个隐含层参数对本地隐私数据进行多目标学习,进而基于多目标学习的结果进一步地进行多目标融合学习。

可选地,云端在将多个隐含层参数发送给多个本地端时,为了保证数据传输的安全性,云端还可以在发送多个隐含层参数之前,对多个隐含层参数进行加密,然后将加密后的隐含层参数发送给多个本地端。其中,加密的方式可以是对称加密,也可以是非对称加密等,这里不做具体限定。

S204:所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;将所述多个更新后隐含层参数发送给所述云端。

在S204中,云端在将多个隐含层参数发送给多个本地端后,多个本地端可以基于多个隐含层参数对本地隐私数据进行学习训练。以下可以以多个本地端中任一个本地端为例进行说明。

本地端在接收到多个隐含层参数后,可以基于神经网络模型,将接收到的多个隐含层参数作为初始训练参数对本地隐私数据进行多目标的学习训练。其中,本地端使用的神经网络模型的个数可以是一个,也可以是多个,在本地端使用一个神经网络模型的情况下,本地端可以基于该神经网络模型对本地隐私数据进行多目标的学习训练,且该神经网络模型中隐含层的初始训练参数为本地端接收到的多个隐含层参数;在本地端使用多个神经网络模型的情况下,本地端可以基于一个神经网络模型对本地隐私数据进行一个学习目标的学习训练,且一个神经网络模型中隐含层的初始训练参数为多个隐含层参数中与该一个学习目标对应的隐含层参数。

本实施例中,本地端在对本地隐私数据进行多目标学习训练的过程中,多个隐含层参数将会发生变化,在训练结束后,可以得到与多个隐含层参数对应的多个更新后隐含层参数。

本地端在得到多个更新后隐含层参数后,可以将多个更新后隐含层参数发送给云端。

可选地,本地端在将多个更新后隐含层参数发送给云端时,为了保证数据传输的安全性,本地端在发送多个更新后隐含层参数之前,可以对多个更新后隐含层参数进行加密,然后将加密后的多个更新后隐含层参数发送给云端。其中,加密的方式可以是对称加密,也可以是非对称加密等,这里不做具体限定。

本实施例中,多个本地端在基于相同的方法对本地隐私数据进行多目标学习训练并得到多个更新后隐含层参数后,可以将各自得到的多个更新后隐含层参数发送给云端。

S206:所述云端对所述多个本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端。

在S206中,云端在接收到由多个本地端分别发送的多个更新后隐含层参数后,可以将这些更新后隐含层参数进行整合。

具体地,首先,云端可以按照多个本地端的多个学习目标,对多个本地端分别发送的多个更新后隐含层参数进行分组,得到与不同学习目标对应的多个更新后隐含层参数。

其中,针对一个学习目标对应的多个更新后隐含层参数,该多个更新后隐含层参数中的一个更新后隐含层参数可以对应一个本地端,即一个更新后隐含层参数来自一个本地端。

其次,可以针对多个学习目标中任一个学习目标,对该学习目标对应的多个更新后隐含层参数进行加权平均,得到与该学习目标对应的整合后隐含层参数。

在进行加权平均时,多个更新后隐含层参数的权重可以均设置为1,也可以基于该多个更新后隐含层参数对应的多个本地端确定得到。比如,可以基于多个本地端的本地隐私数据的质量贡献度差异(包括分布不平衡、数据噪音,规模量等)确定多个更新后隐含层参数的权重,其中,本地端的质量贡献度差异越大,与该本地端对应的更新后隐含层参数的权重越小;再比如,也可以基于多个本地端学习训练的效果(比如训练得到的神经网络模型的置信度等)确定多个更新后隐含层参数的权重,其中,本地端的学习效果越好,与该本地端对应的更新后隐含层参数的权重越大。这里不再一一举例说明。

最后,在得到与一个学习目标对应的整合后隐含层参数后,可以基于相同的方法可以得到与其他学习目标对应的整合后隐含层参数,进而得到与多个学习目标对应的多个整合后隐含层参数。

需要说明的是,在上述对一个学习目标对应的多个更新后隐含层参数进行整合时,整合的方式为加权平均的方式,在其他实现方式中,也可以采用其他方式,比如求平均值或均方根等方式。

云端在得到与多个学习目标对应的多个整合后隐含层参数后,可以进一步判断多个整合后隐含层参数是否可以作为多个本地端确定多个目标模型(即多目标融合学习的多个目标结果)时所使用的隐含层参数。以多个学习目标中任一个学习目标对应的整合后隐含层参数为例,可以判断整合后隐含层参数是否满足预设条件。

在确定整合后隐含层参数是否满足预设条件时,具体地,首先,可以根据该整合后隐含层参数对应的学习目标,确定云端在S202中下发的多个隐含层参数中与该学习目标对应的隐含层参数;其次,判断确定得到的隐含层参数与该整合后隐含层参数之间的差值是否小于或等于预设阈值,预设阈值可以根据实际情况确定,这里不做具体限定;最后,若上述差值小于或等于预设阈值,则可以说明整合后隐含层参数满足预设条件,否则,可以说明整合后隐含层参数不满足预设条件。

本实施例中,若整合后隐含层参数满足预设条件,则可以说明该整合后隐含层参数可以作为本地端确定目标模型时所使用的隐含层参数,此时,可以将整合后隐含层参数发送给对应的本地端,该对应的本地端可以理解为学习目标为该整合后隐含层参数对应的学习目标的本地端。本地端在接收到整合后隐含层参数后,可以执行S208。

若整合后隐含层参数不满足预设条件,则可以说明该整合后隐含层参数不能作为本地端确定目标模型时所使用的隐含层参数,此时,云端可以将整合后隐含层参数发送给多个本地端。

多个本地端在接收到整个后隐含层参数后,可以基于神经网络模型,以整合后隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与整合后隐含层参数对应的多个更新后的隐含层参数,这里为了便于区分,可以由更新后整合参数表示。具体实现方式可以参见上述S204中记载的相应内容,这里不再重复描述。

多个本地端在得到多个更新后整合参数后,可以将多个更新后整合参数发送给云端,云端可以按照上述记载的对多个更新后隐含层参数进行整合的方法对多个更新后整合参数进行整合,得到整合后的隐含层参数,这里为了便于区分,可以由多次整合后参数表示。

在得到多次整合后参数后,可以判断该多次整合后参数是否满足预设条件。其中,若该多次整合后参数与上述云端下发的整合后隐含层参数的差值小于或等于预设阈值,则可以说明该多次整合后参数满足预设条件,否则,可以说明该多次整合后参数不满足预设条件。

若该多次整合后参数满足预设条件,则可以将该多次整合后参数发送给对应的本地端,以便本地端执行S208,否则,可以将多次整合后参数发送给多个本地端继续进行学习训练,如此循环,直至云端对本地端返回的多个更新后的隐含层参数进行整合后得到的隐含层参数满足预设条件为止。

这样,通过云端和本地端之间对隐含层参数的多次迭代,并以云端相邻两次下发给本地端的隐含层参数是否满足预设条件作为迭代是否终止的判断条件,最终可以得到与多个学习目标对应的满足预设条件的多个隐含层参数。在确定满足预设条件的多个隐含层参数后,可以将多个隐含层参数发送给对应的本地端,以便本地端可以执行S208。

需要说明的是,针对不同的学习目标而言,在判断不同学习目标对应的多个整合后隐含层参数是否满足预设条件时,不同学习目标对应的预设条件可以相同,也可以不同。

可选地,云端在将满足预设条件的整合后隐含层参数发送给对应的本地端时,还可以对整合后隐含层参数进行加密,以保证数据传输的安全性,加密方法可以是对称加密,也可以是非对称加密等。

S208:所述本地端基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

在S208中,本地端在接收到云端下发的满足预设条件的整合后隐含层参数后,可以结合自身的学习目标,确定与自身的学习目标对应的目标模型。

以本地端的目标模型为神经网络模型为例,本地端在接收到云端下发的满足预设条件的整合后隐含层参数后,可以将整合后隐含层参数作为神经网络模型中隐含层的参数,并将具有该整合后隐含层参数的神经网络模型作为与自身的学习目标对应的目标模型。

本实施例通过多个本地端向云端共享隐含层参数和云端对隐含层参数进行整合的方式,可以有效地实现多个本地端进行多目标融合学习的目的。此外,在融合学习的过程中,由于多个本地端不会将本地隐私数据进行共享,因此,还可以保证多个本地端本地隐私数据的安全性。

图3为本说明的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图。图3所示实施例的执行主体可以是图1所示的云端11,具体可以包括以下步骤。

S302:基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数。

可选地,云端在基于多个本地端融合学习时的多个学习目标,确定与多个学习目标对应的多个隐含层参数时,可以包括:

基于多个学习目标,从预先得到的多个标准隐含层参数中确定与多个学习目标对应的多个隐含层参数;或,

基于多个学习目标,利用神经网络模型对预先存储的多个本地端的数据进行学习训练,得到与多个学习目标对应的多个隐含层参数。

S304:将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数。

可选地,云端在将多个隐含层参数发送给多个本地端时,可以包括:

对多个隐含层参数进行加密,得到加密后的多个隐含层参数;

将加密后的多个隐含层参数发送给多个本地端。

多个本地端中的任一个本地端在基于云端下发的多个隐含层参数进行多目标学习训练时,具体实现方式可以参见图2所示实施例中相应步骤的具体实现,这里不再重复说明。

S306:接收由所述多个本地端分别发送的多个更新后隐含层参数。

S308:对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数。

可选地,云端对所述多个本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数,可以包括:

按照所述多个学习目标对所述多个本地端分别发送的多个更新后隐含层参数进行分组,得到与不同学习目标对应的多个更新后隐含层参数;

针对任一个学习目标,对所述学习目标对应的多个更新后隐含层参数进行加权平均,得到与所述学习目标对应的整合后隐含层参数。

S310:针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

可选地,云端在将整合后隐含层参数发送给对应的本地端时,也可以将整合后隐含层参数进行加密后再发送,以保证数据传输的安全性。

可选地,云端在确定整合后隐含层参数不满足所述预设条件时,还可以将整合后隐含层参数发送给多个本地端,以便多个本地端基于神经网络模型,以整合后隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与整合后隐含层参数对应的多个更新后整合参数;

接收多个本地端发送的多个更新后整合参数;

对多个更新后整合参数进行整合,得到多次整合后参数;在确定多次整合后参数满足预设条件时,将多次整合后参数发送给对应的本地端,以便对应的本地端根据多次整合后参数,确定与该本地端的学习目标对应的目标模型。

上述S302至S310的具体实现可以参见图2所示实施例中相应步骤的具体实现,这里不再详细说明。

图4是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的流程示意图。图4所示实施例的执行主体可以是图1所示的任一个本地端,具体可以包括以下步骤。

S402:接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到。

S404:基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数。

S406:将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数。

可选地,本地端在将多个更新后隐含层参数发送给云端时,可以包括:

将多个更新后隐含层参数进行加密,得到加密后的多个更新后隐含层参数;

将加密后的多个更新后隐含层参数发送给云端。

S408:接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送。

S410:基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

上述S402至S410的具体实现可以参见图2所示实施例中相应步骤的具体实现,这里不再详细说明。

本说明书的上述一个或多个实施例提供的技术方案,多个本地端在进行多目标融合学习时,由于任一个本地端可以基于神经网络模型和云端下发的隐含层参数对本地隐私数据进行多目标学习训练,并将学习得到的多个更新后隐含层参数发送至云端,由云端对更新后隐含层参数进行整合,并在确定任一学习目标对应的整合后隐含层参数满足预设条件时,将整合后隐含层参数下发给对应本地端,由本地端结合自己的学习目标得到目标模型,因此,可以通过多个本地端向云端共享隐含层参数和云端对隐含层参数进行整合的方式,有效地实现多个本地端进行多目标融合学习的目的。此外,在融合学习的过程中,由于多个本地端不会将本地隐私数据进行共享,因此,还可以保证多个本地端本地隐私数据的安全性。

为了便于理解本说明的上述一个或多个实施例提供的技术方案,可以参见图5,图5是本说明书的一个实施例基于隐私数据保护的多目标融合学习方法的场景示意图。

图5所示的本地端1至本地端N在进行多目标的融合学习时,云端可以获取多个本地端融合学习时的多个学习目标T1至Tn,其中,一个本地端有一个学习目标,不同本地端的学习目标不同,这里可以假设本地端1的学习目标为T1,本地端2的学习目标为T2,……,本地端N的学习目标为Tn。

云端在确定多个学习目标后,可以基于图2所示实施例中记载的方法,确定与多个学习目标对应的多个隐含层参数H1至Hn,其中,H1可以是学习目标T1对应的隐含层参数,H2可以是学习目标T2对应的隐含层参数,……Hn可以是学习目标Tn对应的隐含层参数。

其中,图5中并未示出云端获取多个学习目标以及确定多个学习目标对应的隐含层参数的步骤。

云端在确定多个隐含层参数H1至Hn后,可以将多个隐含层参数H1至Hn发送给本地端本地端1至本地端N。如图5所示。

本地端1至本地端N在接收到多个隐含层参数H1至Hn后,可以按照图2所示实施例中记载的方法,基于神经网络模型,以多个隐含层参数H1至Hn为初始训练参数对本地隐私数据进行多目标学习训练,得到与多个隐含层参数H1至Hn对应的多个更新后隐含层参数。其中,本地端1得到的多个更新后隐含层参数可以由H11至Hn1表示,本地端2得到的多个更新后隐含层参数可以由H12至Hn2表示,……本地端N得到的多个更新后隐含层参数可以由H1N至HnN表示。

本地端1至本地端N在得到多个更新后隐含层参数后,将多个更新后隐含层参数发送给云端,云端按照多个学习目标对多个本地端的多个更新后隐含层参数H11至Hn1,H12至Hn2,……,H1N至HnN进行分组,得到与学习目标T1对应的多个更新后隐含层参数H11,H12,……,H1N,与学习目标T2对应的多个更新后隐含层参数H21,H22,……,H2N,……,与学习目标Tn对应的多个更新后隐含层参数Hn1,Hn2,……,HnN。

之后,云端可以针对任一个学习目标对应的多个更新后隐含层参数进行整合,得到整合后隐含层参数。其中,学习目标T1对应的整合后隐含层参数可以表示为H1’, 学习目标T2对应的整合后隐含层参数可以表示为H2’,……,学习目标Tn对应的整合后隐含层参数可以表示为Hn’。

在对多个整合后隐含层参数进行判断后,假设H2’满足预设条件,H1’,H3’至Hn’均不满足预设条件,则云端一方面可以将H2’发送给本地端2,由本地端基于H2’确定对应的目标模型,另一方面还可以将H1’,H3’至Hn’发送给本地端1至本地端N,由本地端1至本地端N基于H1’,H3’至Hn’进行再次学习训练,得到多个更新后整合参数。

本地端1至本地端N各自在得到H1’,H3’,……Hn’对应的多个更新后整合参数后,可以将多个更新后整合参数发送给云端,云端在对多个更新后整合参数进行分组整合后,针对任一学习目标对应的多次整合后参数,在确定多次整合后参数满足预设条件时,将其发送给对应的本地端,由本地端结合自身的学习目标确定目标模型;在确定多次整合后参数不满足预设条件时,将其发送给本地端1至本地端N继续进行学习训练,如此循环迭代,直至云端对多个更新后的隐含层参数进行分组整合后,整合后的参数满足预设条件为止。

这样,通过云端和多个本地端之间进行隐含层参数的循环迭代,最终可以得到与多个满足预设条件的隐含层参数,多个本地端可以基于该多个满足条件的隐含层参数确定与自身的学习目标对应的目标模型,进而实现多目标融合学习的目的。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

图6是本说明书的一个实施例电子设备的结构示意图。请参考图6,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成基于隐私数据保护的多目标融合学习装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:

基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收由所述多个本地端分别发送的多个更新后隐含层参数;

对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

上述如本说明书图6所示实施例揭示的基于隐私数据保护的多目标融合学习装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

该电子设备还可执行图3的方法,并实现基于隐私数据保护的多目标融合学习装置在图3所示实施例中的功能,本说明书实施例在此不再赘述。

当然,除了软件实现方式之外,本说明书实施例的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。

本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图3所示实施例的方法,并具体用于执行以下操作:

基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收由所述多个本地端分别发送的多个更新后隐含层参数;

对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

图7是本说明书的一个实施例基于隐私数据保护的多目标融合学习装置70的结构示意图,所述基于隐私数据保护的多目标融合学习装置70可以应用于云端。请参考图7,在一种软件实施方式中,所述基于隐私数据保护的多目标融合学习装置70可包括:确定单元71、第一发送单元72、接收单元73、整合单元74和第二发送单元75,其中:

确定单元71,基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;

第一发送单元72,将所述多个隐含层参数发送给所述多个本地端,以便所述多个本地端中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行多目标学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

接收单元73,接收由所述多个本地端分别发送的多个更新后隐含层参数;

整合单元74,对所述多个本地端分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

第二发送单元75,针对任一个学习目标对应的整合后隐含层参数,在确定所述整合后隐含层参数满足预设条件时,将所述整合后隐含层参数发送给对应的本地端,以便所述本地端根据所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

可选地,在确定所述整合后隐含层参数不满足所述预设条件时,所述第二发送单元75,还将所述整合后隐含层参数发送给所述多个本地端,以便所述多个本地端基于神经网络模型,以所述整合后隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述整合后隐含层参数对应的多个更新后整合参数,并将所述多个更新后整合参数发送给所述云端;

所述整合单元74,对所述多个更新后整合参数进行整合,得到多次整合后参数;

所述第二发送单元75,在确定所述多次整合后参数满足所述预设条件时,将所述多次整合后参数发送给对应的本地端,以便所述本地端根据所述多次整合后参数,确定与所述本地端的学习目标对应的目标模型。

可选地,所述确定单元71,基于多个本地端融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数,包括:

基于所述多个学习目标,从预先得到的多个标准隐含层参数中确定与所述多个学习目标对应的多个隐含层参数;或,

基于所述多个学习目标,利用神经网络模型对预先存储的所述多个本地端的数据进行学习训练,得到与所述多个学习目标对应的多个隐含层参数。

可选地,所述第一发送单元72,将所述多个隐含层参数发送给所述多个本地端,包括:

对所述多个隐含层参数进行加密,得到加密后的多个隐含层参数;

将所述加密后的多个隐含层参数发送给所述多个本地端。

可选地,所述整合单元74,对所述多个本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数,包括:

按照所述多个学习目标对所述多个本地端分别发送的多个更新后隐含层参数进行分组,得到与不同学习目标对应的多个更新后隐含层参数;

针对任一个学习目标,对所述学习目标对应的多个更新后隐含层参数进行加权平均,得到与所述学习目标对应的整合后隐含层参数。

本说明书实施例提供的基于隐私数据保护的多目标融合学习装置70还可执行图3的方法,并实现基于隐私数据保护的多目标融合学习装置在图3所示实施例的功能,本说明书实施例在此不再赘述。

图8是本说明书的一个实施例电子设备的结构示意图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成基于隐私数据保护的多目标融合学习装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:

接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

上述如本说明书图8所示实施例揭示的基于隐私数据保护的多目标融合学习装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

该电子设备还可执行图4的方法,并实现基于隐私数据保护的多目标融合学习装置在图4所示实施例中的功能,本说明书实施例在此不再赘述。

当然,除了软件实现方式之外,本说明书实施例的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。

本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图3所示实施例的方法,并具体用于执行以下操作:

接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

图9是本说明书的一个实施例基于隐私数据保护的多目标融合学习装置90的结构示意图,所述基于隐私数据保护的多目标融合学习装置90可以应用于本地端。请参考图9,在一种软件实施方式中,所述基于隐私数据保护的多目标融合学习装置90可包括:第一接收单元91、学习训练单元92、发送单元93、第二接收单元94和确定单元95,其中:

第一接收单元91,接收由云端发送的多个隐含层参数,所述多个隐含层参数对应多个本地端融合学习时的多个学习目标,并由所述云端基于所述多个学习目标确定得到;

学习训练单元92,基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到与所述多个隐含层参数对应的多个更新后隐含层参数;

发送单元93,将所述多个更新后隐含层参数发送给所述云端,以便所述云端对所述多个更新后隐含层参数以及其他本地端分别发送的多个更新后隐含层参数进行整合,得到与所述多个学习目标对应的多个整合后隐含层参数;

第二接收单元94,接收由所述云端发送的与所述本地端的学习目标对应的整合后隐含层参数,所述整合后隐含层参数由所述云端在确定所述整合后隐含层参数满足预设条件时发送;

确定单元95,基于所述整合后隐含层参数,确定与所述本地端的学习目标对应的目标模型。

可选地,所述发送单元93,将所述多个更新后隐含层参数发送给所述云端,包括:

将所述多个更新后隐含层参数进行加密,得到加密后的多个更新后隐含层参数;

将所述加密后的多个更新后隐含层参数发送给所述云端。

本说明书实施例提供的基于隐私数据保护的多目标融合学习装置90还可执行图4的方法,并实现基于隐私数据保护的多目标融合学习装置在图4所示实施例的功能,本说明书实施例在此不再赘述。

图10是本说明书的一个实施例基于隐私数据保护的多目标融合学习系统110的结构示意图。所述系统110包括云端111和多个本地端112,其中:

所述云端111基于多个本地端112融合学习时的多个学习目标,确定与所述多个学习目标对应的多个隐含层参数;将所述多个隐含层参数发送给所述多个本地端112;

所述多个本地端112中的任一个本地端基于神经网络模型,以所述多个隐含层参数为初始训练参数对本地隐私数据进行学习训练,得到多个更新后隐含层参数;将所述多个更新后隐含层参数发送给所述云端111;

所述云端111对所述多个本地端112分别发送的多个更新后模型参数进行整合,得到与所述多个学习目标对应的多个整合后参数;针对任一个学习目标对应的整合后参数,在确定所述整合后参数满足预设条件时,将所述整合后参数发送给对应的本地端;

所述本地端基于所述整合后参数,确定与所述本地端的学习目标对应的目标模型。

多个本地端112中可以包括本地端1、本地端2、……、本地端N,N为大于或等于2的整数,可以根据实际的本地端个数确定得到。

上述各步骤的具体实现可以参见图2所示实施例中记载的内容,这里不再重复说明。

图10所示的云端111还可执行图2至图5中的方法,并实现云端在图2至图5所示实施例的功能,本说明书实施例在此不再赘述。图10所示的多个本地端112还可执行图2至图5中的方法,并实现本地端在图2至图5所示实施例的功能,本说明书实施例在此不再赘述。

总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本文件的保护范围。凡在本说明书一个或多个实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本文件的保护范围之内。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号