一种联邦学习的专家研究兴趣实时在线预测更新方法

摘要

本发明公开一种联邦学习的专家研究兴趣实时在线预测更新方法，包括步骤：每个参与方分别在本地提取专家文本信息进行建模，获得语义信息与时间信息；利用文本卷积神经网络模型对专家特征进行学习，引入自注意力机制加强文本的语义信息，学习时间信息；采用横向联邦学习的方式，在各参与方在本地进行模型的训练后，提交训练参数到全局服务器，使用联邦匹配平均算法进行优化，加入了分层匹配与通信机制，服务器进行参数的全局聚合，并将全局参数返还给各本地模型，并对本地模型进行更新；通过对训练文本卷积神经网络模型得到的编码向量进行聚类得到专家研究兴趣。本发明解决了数据孤岛问题，保护了数据隐私，提高了对专家研究兴趣预测的精准度。

说明书

技术领域

本发明属于数据处理技术领域，特别是涉及一种联邦学习的专家研究兴趣实时在线预测更新方法。

背景技术

目前，科研专家的相关数据资源数量巨大，分布散乱、未进行深层次加工，这使得用户要迅速准确地得到对自己有实际价值的学术信息变得困难。其中，专家的研究兴趣问题尤为突出。在寻找不同领域的专家时，只根据专家所填报的学科是不够精准的，专家可能在其他领域也有较为突出的研究，而且，不同领域之间的合作也越来越密切，因此在一些需求中，比如，项目评审部门想要寻找合适的评审人、科研用户寻求合作者、专业问题需要咨询领域专家帮助等，将花费大量时间和精力并且查询的结果不一定是有价值的。从专家的学术经历以及发表论文、参与合作项目中提取专家的研究领域，并根据时间信息来预测更新专家的研究兴趣对精准寻找所需专家有很大帮助。

专家数据的异质性和隐私性给专家信息整合带来巨大挑战，主要面临以下问题：数据安全性问题、文本数量庞大、数据孤岛问题等。现有的联邦学习技术主要有两种，横向联邦学习：两个数据集的用户特征重叠较多，而用户重叠较少的情况，把数据集横向切分；纵向联邦学习：两个数据集的用户重叠较多而用户特征重叠较少的情况，把数据集纵向切分。

由于用户数据非独立同分布且用户数据量不平衡，传统的联邦学习技术在本地数据更新时会有很大的偏差，同时模型会自动偏向网络条件较好的设备，系统和数据的不一致性也会对训练结果产生影响。

发明内容

为了解决上述问题，本发明提出了一种联邦学习的专家研究兴趣实时在线预测更新方法，利用文本卷积神经网络模型与自注意力机制对专家特征进行学习，通过文本卷积神经网络从专家信息中获取专家研究兴趣，并引入了横向联邦学习技术，利用分层平均优化并加入了通信机制训练模型，解决了数据孤岛的问题，保护了数据隐私，同时也提高了对专家研究兴趣预测的精准度。

为达到上述目的，本发明采用的技术方案是：一种联邦学习的专家研究兴趣实时在线预测更新方法，包括步骤：

S10,面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息进行建模，获得语义信息与时间信息；

S20；利用文本卷积神经网络模型对专家特征进行学习，同时引入自注意力机制加强文本的语义信息，并学习时间信息；

S30,采用横向联邦学习的方式，在各参与方在本地进行模型的训练后，提交训练参数到全局服务器，使用联邦匹配平均算法进行优化，加入了分层匹配与通信机制，服务器进行参数的全局聚合，并将全局参数返还给各本地模型，并对本地模型进行更新；

S40,通过对训练文本卷积神经网络模型得到的编码向量进行聚类得到专家研究兴趣。

进一步的是，在所述步骤S10中，面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息进行建模，获得语义信息与时间信息，包括步骤：

S11,面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息包括专家个人学术经历信息、专家发表论文信息、专家参与项目信息和专家获得奖项信息；

S12,将专家个人学术经历、专家发表论文信息、专家参与项目信息和专家获得奖项信息以文档的形式输入到词向量模型中进行训练，进行统一编码得到词向量包括语义信息向量x与时间戳信息t。

进一步的是，所述词向量模型采用Word2vec预训练模型。

进一步的是，在所述步骤S20中，利用文本卷积神经网络模型对专家特征进行学习，包括步骤：

S211,对文本语义信息进行表示，将文本信息分割为句子，一句话共n个词语，每个词语是一个k维向量，得到的词向量矩阵表示为：

其中，

S212,使用滤波器对每个单词生成特征c

c

其中，h是滤波器的高度，b是一个偏置项，w是权重，f是一个非线性函数；

S213,由得到的词特征c，生成句子特征表示为：

c＝[c

S214,在文本卷积神经网络的倒数第二层使用dropout进行正则化，最终输出为：

其中，w是正则化权重，z是句子特征集合，

进一步的是，在所述步骤S20中，采用多头自注意力机制加强语义信息表示与学习时间信息，包括步骤：

S221,对于每个语义信息向量x，都有一个时间戳信息t与之相对应，将时间戳信息t加入到词向量语义中，得到新的特征矩阵Y(x，t)；

S222,对每个句子与其相邻句子之间进行相似系数计算，归一化之后得到注意力系数；

S223,根据所得到的注意力系数，融合邻域信息，并与句子的原有特征进行聚合形成新特征；

S224,引入多头自注意力机制，同时使用多个共享参数W，将多个新生成的句子的表达合并为一个，得到带有时间戳的信息编码。

进一步的是，在所述步骤S30中，采用联邦学习平均算法对提取到的具有相似特征的隐元素进行匹配和平均，按层构建共享全局模型。

进一步的是，在每次迭代中，先根据给定的权值矩阵估计找到对应的全局模型，然后根据匈牙利算法将全局模型和客户端上的局部神经元进行匹配，得到新的拓展全局模型，包括步骤：

S321,对神经网络的参数求平均值之前找到其参数的排列，将具有相似特征的神经元权重合并；

S322,给定递增函数，对联邦平均算法进行优化得到优化后的平均匹配公式为：

其中：L代表隐藏层的节点数目，c(w

S323,给定J个客户端提供的权重W

S324,分层进行匹配，最终聚合得出模型更新参数。

进一步的是，如果最优匹配的代价大于设定阈值，不进行匹配，而在相应的局部神经元创建一个新的全局神经元。

进一步的是，所述分层进行匹配方案，包括步骤：

S331，全局服务器只从客户端收集第一层的权重，并执行前面描述的单层匹配以获取联邦模型的第一层权重；

S332，全局服务器将获得的联邦模型的第一层权重广播给客户端，客户端继续对其数据集上的所有连续层进行训练，并保持联邦匹配层处于冻结状态；

S333，将此过程不断重复，直至最后一层；对最后一层，根据每个客户端数据点的类别比例对其进行加权平均得到最终的参数。

进一步的是，在联邦平均学习算法中加入通信机制，包括步骤：

局部客户端在新一轮开始时接收到匹配的全局模型，并在前一轮匹配结果的基础上重建与原始局部模型大小相等的局部模型，从而将全局模型的大小保持在较小的范围内。

采用本技术方案的有益效果：

本发明面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息进行建模；利用文本卷积神经网络模型对专家特征进行学习，同时引入自注意力机制学习加强文本的语义信息，并学习时间信息，获得编码；采用横向联邦学习的方式，各参与方在本地进行模型的训练，提交训练参数到全局服务器，使用联邦匹配平均算法进行优化，加入了分层匹配与通信机制。服务器进行参数的全局聚合，将全局参数返还给各本地模型，并对本地模型进行更新；通过对训练文本卷积神将网络模型得到的编码向量进行聚类得到专家研究兴趣。本发明将充分利用专家信息中的语义与结构信息，通过文本卷积神经网络从专家信息中获取专家研究兴趣，引入横向联邦学习技术，解决数据孤岛的问题，保护了数据隐私，同时也提高了对专家研究兴趣预测的精准度。

本发明为了更有效的利用专家信息中的各类元素，充分挖掘专家数据在不同来源的信息；将专家信息中的元素和时间戳向量化，构造了包含文本特征和时间特征的特征向量，可以有效的表达专家信息中的不同元素以及它们之间的关系，从而获得了更多的知识，因此模型效果要优于一般的信息表示方法。

本发明引入了文本卷积神经网络模型进行信息进行编码，文本卷积神经网络，模型的最大优势在于网络结构简单，参数较少，从而计算效率比其他模型要高，同时我们利用词向量训练模型引入已经训练好的词向量，进一步提高了文本卷积神经网络模型的训练速度，加快数据收敛。添加dropout正则化方法，防止过拟合整体使用梯度法进行参数的更新模型的优化。利用多头自注意力机制，强化了语义信息，并对时间信息进行学习，考虑到了时间信息对于研究兴趣的影响。同时引入了联邦学习的方法，使得各方数据在保护隐私的前提下加入训练，加大数据量，提高了预测结果的精准度。

本发明关注了数据偏差的情景，将每个域视为一个客户端，则本地模型不会受到聚合数据偏差的影响，并学习功能和类之间的有意义的关系。然后可以使用算法来学习没有偏差的良好全局模型。在考虑了之前联邦学习算法中对局部模型的参数按元素平均，权重与客户端数据集的大小成比例进行平均分配的局限性(受限于客户端数据集的大小)后，基于神经元的置换不变性，将具有相似特征的神经元权重合并，构建全局共享模型。优化了文本卷积神经网络的训练结果，并提高了通信效率。

为了更加适应真实的在线环境，本发明在横向联邦学习算法中加入了通信机制，在真实的环境中由于数据的私密性无法进行整个数据的训练，在全局服务器与各地客户端中加入通信机制，其中本地客户端在新一轮开始时接收匹配的全局模型，并基于前一轮的匹配结果重建其大小等于原始本地模型的本地模型。这个过程允许保持全局模型的规模较小。从而降低了对本地客户端网络的性能需求。新加入客户端进行训练时，可以将上一轮训练的参数直接传递给新加入的客户端模型，再进行新一轮的训练传递，对于新加入的数据更加方便的融入到总体数据当中。所以在异构数据场景中，我们的算法优于其他联邦学习方法。

附图说明

图1为本发明的一种联邦学习的专家研究兴趣实时在线预测更新方法流程示意图；

图2为本发明的专家研究兴趣预测模型的框架示意图；

图3为本发明的横向联邦学习的原理框架示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1与图2所示，本发明提出了一种联邦学习的专家研究兴趣实时在线预测更新技术，包括步骤：

S10,面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息进行建模，获得语义信息向量X，与时间戳向量t；

S20；利用文本卷积神经网络模型对专家特征进行学习，同时引入自注意力机制加强文本的语义信息，并学习时间信息；

S30,采用横向联邦学习的方式，各参与方在本地进行模型的训练，提交训练参数到全局服务器，使用联邦匹配平均算法进行优化，加入了分层匹配与通信机制，服务器进行参数的全局聚合，并将全局参数返还给各本地模型，并对本地模型进行更新；

S40,通过对训练文本卷积神将网络模型得到的编码向量进行聚类得到专家研究兴趣。

作为上述实例的优化方案1，在所述步骤S10中，面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息进行建模，获得语义信息与时间信息，包括步骤：

S11,面对各地异质且非公开人才专家库的专家信息数据，每个参与方分别在本地提取专家文本信息包括专家个人学术经历信息、专家发表论文信息、专家参与项目信息、专家获得奖项信息；

S12,将专家个人学术经历、专家发表论文信息、专家参与项目信息、专家获得奖项信息以文档的形式输入到词向量模型中进行训练，进行统一编码得到语义信息向量x与时间戳信息t。

作为上述实例的优化方案2，在所述步骤S20中，利用文本卷积神经网络模型对专家特征进行学习，包括步骤：

S212,使用滤波器对每个单词生成特征c

c

其中，h是滤波器的高度，b是一个偏置项，w是权重，f是一个非线性函数。

S213,由得到的词特征c，生成句子特征表示为：

c＝[c

S214,在文本卷积神经网络的倒数第二层使用dropout进行正则化，最终输出为：

其中，w是正则化权重，z是句子特征集合，

优化方案的预训练词向量模型采用Word2vec预训练模型。

作为上述实例的优化方案3，在所述步骤S20中，采用多头自注意力机制加强语义信息表示与学习时间信息，包括步骤：

S221,对于每个语义信息向量x，都有一个时间戳信息t与之相对应，将时间戳信息t加入到词向量语义中，得到新的特征矩阵Y(x，t)；

S222,然后对每个句子与其相邻句子之间进行相似系数计算，归一化之后得到注意力系数；

S223,根据所得到的注意力系数，融合邻域信息，并与句子的原有特征进行聚合形成新特征；

S224,引入多头自注意力机制，同时使用多个共享参数W，将多个新生成的句子的表达合并为一个，得到编码。

作为上述实例的优化方案4，根据图3所示，在所述步骤S30中，S321,对神经网络的参数求平均值之前找到其参数的排列，将具有相似特征的神经元权重合并；

S322,给定递增函数，对联邦平均算法进行优化得到优化后的平均匹配公式为：

其中：L代表隐藏层的节点数目，c(w

S323,给定J个客户端提供的权重W

S324,分层进行匹配，最终聚合得出所需参数。

作为上述实例的优化方案4，采用分层匹配方案，包括步骤：

S331，全局服务器只从客户端收集第一层的权重，并执行前面描述的单层匹配以获取联邦模型的第一层权重。

S332，全局服务器将这些权重广播给客户端，客户端继续对其数据集上的所有连续层进行训练，并保持联邦匹配层处于冻结状态。

S333，将此过程不断重复，直至最后一层。对最后一层，我们根据每个客户端数据点的类别比例对其进行加权平均得到最终的参数。

最后，在联邦平均学习算法中加入通信机制，包括步骤：

局部客户端在新一轮开始时接收到匹配的全局模型，并在前一轮匹配结果的基础上重建与原始局部模型大小相等的局部模型。从而将全局模型的大小保持在较小的范围内。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。