一种基于差分隐私聚合的图神经网络构建方法及构建系统

摘要

本发明涉及一种基于差分隐私聚合的图神经网络构建方法及构建系统，首先从众包平台获取图数据集G，并初始化图神经网络模型，所述图神经网络模型至少包括两层网络结构；将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理并输出到第二层网络结构中；将第一层网络结构的输出作为第二层网络结构的输入，进行聚合及分类预测，并利用分类预测结果与真实值计算损失函数；根据损失函数的值，进行迭代训练及模型参数更新或结束训练并输出当前的模型参数。本发明在模型构建过程中，利用差分隐私聚合的思想对聚合信息添加扰动信息，以实现对数据集中用户隐私信息的保护。

说明书

技术领域

本发明涉及网络安全技术领域，具体涉及一种基于差分隐私聚合的图神经网络构建方法及构建系统。

背景技术

图神经网络(GNNs)已成为分析和学习图数据的标准工具，并已成功地应用于各个领域。然而，高性能的GNNs模型往往包含丰富的节点特征和边缘信息，在模型训练过程中可能会泄露数据集的一些敏感信息。

在模型训练过程中，一般会从众包平台收集大规模的图结构化数据，这些数据通常不仅编码有关个人的敏感信息，而且还编码与他们的交互的敏感信息，这使得直接发布相当不安全。例如，在Facebook这样的社交网络中，用户的好友列表（例如或评论）中，兴趣组应该在不同的隐私级别下是私有的。其次，由于图神经网络中有许多隐藏的神经元层，因此它们能够将某些个人数据的详细信息以及个人之间的交互编码为参数，记录在网络模型中。因此，基于这些隐私信息构建的图神经网络模型受到针对性的攻击时，极易造成网络用户的敏感隐私数据的泄漏。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于差分隐私聚合的图神经网络构建方法，在模型构建过程中，利用差分隐私聚合的思想对聚合信息添加扰动信息，以实现对数据集中用户隐私信息的保护。

本发明解决上述技术问题的技术方案如下：

一方面，本发明提供一种基于差分隐私聚合的图神经网络构建方法，包括以下步骤：

从众包平台获取图数据集G，并初始化图神经网络模型，所述图数据集G=(A,X)，其中A为邻接矩阵，表示图数据集G中节点的连接，X为图数据集G的特征矩阵；所述图神经网络模型至少包括两层网络结构；

将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理并输出到第二层网络结构中；

将第一层网络结构的输出作为第二层网络结构的输入，进行聚合及分类预测，并利用分类预测结果与真实值计算损失函数；

根据损失函数的值，进行迭代训练及模型参数更新或结束训练并输出当前的模型参数。

进一步的，所述的将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理，包括：

根据图数据集G的节点

聚合节点i的邻居节点j得到节点i的特征向量

通过伯努利采样将特征向量

利用经过伯努利采样的转换结果对特征向量的k个维度进行扰动；

利用节点i对应的无偏估计器对扰动结果进行约束处理并输出。

进一步的，所述的将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理，其处理过程如下式所示：

式中，

其中，

进一步的，

进一步的，所述的根据损失函数的值，进行迭代训练及模型参数更新或结束训练并输出当前的模型参数，包括：

判断损失函数的值是否满足训练终止条件，若满足则输出当前的模型参数，若不满足，则更新当前模型参数，并利用训练所用的初始数据集对模型进行迭代训练，直至损失值满足训练终止条件。

另一方面，本发明提供一种基于差分隐私聚合的图神经网络构建系统，包括：

初始化模块，用于从众包平台获取图数据集G，并初始化图神经网络模型，所述图数据集G=(A,X)，其中A为邻接矩阵，X为图数据集G的特征矩阵；所述图神经网络模型至少包括两层网络结构；

差分隐私聚合模块，用于将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理并输出到第二层网络结构中；

聚合预测模块，用于将第一层网络结构的输出作为第二层网络结构的输入，进行聚合及分类预测，并利用分类预测结果与真实值计算损失函数；

参数更新模块，用于根据损失函数的值，进行迭代训练及模型参数更新或结束训练并输出当前的模型参数。

进一步的，所述的差分隐私聚合模块，包括：

扰动数量确定模块，用于根据图数据集G的节点

聚合及选择模块，用于聚合节点i的邻居节点j得到节点i的特征向量

采样转换模块，用于通过伯努利采样将特征向量

扰动模块，利用经过伯努利采样的转换结果对特征向量的k个维度进行扰动；

约束输出模块，利用节点i对应的无偏估计器对扰动结果进行约束处理并输出。

进一步的，所述的差分隐私聚合模块进行差分隐私聚合处理过程如下式所示：

式中，

其中，

进一步的，所述

进一步的，所述的参数更新模块，具体用于：判断损失函数的值是否满足训练终止条件，若满足则输出当前的模型参数，若不满足，则更新当前模型参数，并利用训练所用的初始数据集对模型进行迭代训练，直至损失值满足训练终止条件。

本发明的有益效果是：获取节点i的特征向量后，使用隐私参数扰动特征矩阵，实现对用户节点信息的保护，在扰动特征矩阵时，并不是扰动每一个元素，而是通过选择矩阵随机选取用户节点信息的m个维度特征元素中的k个，在确保隐私的同时减少了隐私预算。通过伯努利采样对特征向量中的元素进行转换，使得每个特征元素都被单独考虑，因此不会过度影响原始数据表达。同时对伯努利采样结果加1，同时在隐私计算时取输出值的1/2，从而减少了无意义的噪声，使得原始特征始终位于集合{0,1}m。最后为每个节点分配一个无偏估计器，可以在确保隐私的同时减少错误影响。

附图说明

图1为本发明实施例一提供的方法流程图；

图2为本发明实施例一提供的差分隐私聚合过程流程图；

图3为本发明实施例二提供的系统结构图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

基于对敏感信息的合理拒绝，随机响应是保护个人隐私的最基本方法。每个元素回答一个二元问题，以实现差分私有方式，报告概率为p的真值和概率为1-p的非真值。扰动特征向量的另一种方法是通过扰动矩阵中的每个元素来采用拉普拉斯机制。尽管通过这些方法保证了隐私，但是数据实用程序却被严重破坏，从而损害了模型的准确性。应当提出一种设计良好的噪声添加机制，以混淆单个私人信息，同时确保汇总统计信息的实用性。

本发明实施例提供一种基于差分隐私聚合的图神经网络构建方法，如图1所示，包括以下步骤：

S1，从众包平台获取图数据集G，并初始化图神经网络模型，所述图数据集G=(A,X)，其中A为邻接矩阵，表示图数据集G中节点的连接，X为图数据集G的特征矩阵；所述图神经网络模型至少包括两层网络结构；

S2，将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理并输出到第二层网络结构中；

其中，差分隐私聚合处理过程，如图2所示，包括以下子步骤：

S201，根据图数据集G的节点

S202，聚合节点i的邻居节点j得到节点i的特征向量

S203，通过伯努利采样将特征向量

S204，利用经过伯努利采样的转换结果对特征向量的k个维度进行扰动；

S205，利用节点i对应的无偏估计器对扰动结果进行约束处理并输出。

具体的，其处理过程如下式所示：

式中，

其中，

S3，将第一层网络结构的输出作为第二层网络结构的输入，进行聚合及分类预测，并利用分类预测结果与真实值计算损失函数；

S4，根据损失函数的值，进行迭代训练及模型参数更新或结束训练并输出当前的模型参数。

具体的，判断损失函数的值是否满足训练终止条件，若满足则输出当前的模型参数，若不满足，则更新当前模型参数，并利用训练所用的初始数据集对模型进行迭代训练，直至损失值满足训练终止条件。

实施例二

本发明提供一种基于差分隐私聚合的图神经网络构建系统，如图3所示，包括：

初始化模块，用于从众包平台获取图数据集G，并初始化图神经网络模型，所述图数据集G=(A,X)，其中A为邻接矩阵，X为图数据集G的特征矩阵；所述图神经网络模型至少包括两层网络结构；

差分隐私聚合模块，用于将图数据集G输入到图神经网络模型中，在第一层网络结构中对图数据集G的每一个节点数据进行差分隐私聚合处理并输出到第二层网络结构中；

聚合预测模块，用于将第一层网络结构的输出作为第二层网络结构的输入，进行聚合及分类预测，并利用分类预测结果与真实值计算损失函数；

参数更新模块，用于根据损失函数的值，进行迭代训练及模型参数更新或结束训练并输出当前的模型参数。

进一步的，所述的差分隐私聚合模块，包括：

扰动数量确定模块，用于根据图数据集G的节点

聚合及选择模块，用于聚合节点i的邻居节点j得到节点i的特征向量

采样转换模块，用于通过伯努利采样将特征向量

扰动模块，利用经过伯努利采样的转换结果对特征向量的k个维度进行扰动；

约束输出模块，利用节点i对应的无偏估计器对扰动结果进行约束处理并输出。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。