一种基于多通道卷积神经网络的关系网络节点分类方法

摘要

本发明公开了一种基于多通道卷积神经网络的关系网络节点分类方法，包括获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息和初始图网络中每个节点的节点特征信息；根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；建立节点分类模型，并进行节点分类模型的预先训练，将所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息、以及所述特征图的结构信息输入预先训练的节点分类模型，以确定每个节点的类型；基于初始图网络中的标签类型确定每个节点所属于的标签类型，提升模型在分类领域的精度。

说明书

技术领域

本发明属于图神经网络技术领域，具有涉及一种基于多通道卷积神经网络的关系网络节点分类方法。

背景技术

图是一种数据结构，它模拟一组对象(节点)及其关系(边)。现实生活中的许多场景，如交通网络、社交网络、引文网络等，都是以图数据的形式存在，其中包含了大量丰富的数据。例如，在引文网络中，每个节点表示一个论文，他们的特征信息可以预先存储起来，包括：文献作者、涉及的技术领域、文献的发表日期等。节点之间的边表示文献之间引用/被引用关系，这些论文被分为若干类。而在博客社交网络中，每个节点表示一个博客作者，边表示之间的关注关系，这些博客作者的博客主题类型被分为若干类。

然而，这些图数据一直以来无法被人们所使用。传统的神经网络只能处理欧氏空间数据，不能处理图数据这种非顺序排序的特征表示。许多学习任务需要处理这种图形数据，而对图形数据进行分类需要一个模型来从图形中学习信息。

随着深度学习的发展，新的技术层出不穷。图神经网络(GNNs)是基于卷积神经网络和图嵌入方法而提出的。图神经网络通过对邻域状态的加权求和来更新节点的隐藏状态，它可以聚集来自图结构的丰富信息，来用于下游任务，常被应用到节点分类、链路预测和聚类等方向。

最新的研究发现，图神经网络在融合节点特征和其拓扑结构方面仍有很多不足，这种缺点会严重阻碍在某些分类任务中的性能。由于结构信息只能表示对应的两点之间的关系，特征信息只能表示对应的一个节点的特性，所以需要两者结合。而有实验得出图神经网络的拓扑信息在通过图卷积层后会破坏节点之间的相似性，从而影响实验结果。

发明内容

鉴于此，本发明提供一种基于多通道卷积神经网络的关系网络节点分类方法，所述方法种增加了一个混合层，在图卷积操作前将信息进行融合，来获取保留节点相似性的结果，并且获取结构信息与特征信息之外的混合信息来提升实验效果。

具体方案如下：

一种基于多通道卷积神经网络的关系网络节点分类方法，包括以下步骤：

S1)：获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息、初始图网络中每个节点的节点特征信息和节点所属的标签类型；

S2)：根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；

S3)：建立节点分类模型，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，先进行节点分类模型的预先训练，再从初始图网络中选取节点作为测试样本，将所述样本在初始图网络中的结构信息、所述在初始图网络中每个样本节点的特征信息、以及所述样本在特征图中的结构信息输入预先训练的节点分类模型，预测出每个样本节点的标签类型；

S4)：基于预测出的每个样本节点的标签类型，确定每个样本节点所属于的类型；

所述确定每个样本节点的类型包括如下步骤：

N1)：从初始图网络中选取不少于500个测试节点作为样本，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，基于所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息及初始图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第一概率Z

N2)：将所述样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入所述特征图卷积模块，基于所述特征图的结构信息、所述初始图网络中每个节点的特征信息及特征图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第二概率Z

N3)：将样本在初始图网络的结构信息、样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入混合图卷积模块，基于所述初始图网络的结构信息、所述特征图的结构信息、所述初始图网络中每个节点的特征信息及所述混合图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第三概率Z

N4)：根据注意力机制分别计算出第一概率Z

N5)：根据所述最终概率Z得到目标概率

特征图的构建包括如下步骤，

P1)：计算初始图网络中每两个节点特征信息之间的余弦相似度；

P2)：从初始图网络中任选一节点，将初始图网络中的其他节点与任选节点之间的余弦相似度由大到小进行排序，排序后选取前k个节点作为任选节点的相似节点；重复步骤P2)，直至得到初始图网络中每个节点所对应的相似节点；

P3)：根据初始图网络中的每个节点与每个节点所对应的相似节点构建的新结构图，即为特征图。

节点分类模型的预先训练包括如下步骤：

M1)：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点；

M2)：将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型；

M3)：根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。

所述第一概率Z

根据公式

所述第二概率Z

根据公式

所述第三概率的计算方法为Z

根据公式

其中

其中，g

本发明公开了一种基于多通道卷积神经网络的关系网络节点分类方法，本发明在以往方法基础上，使用多通道图卷积神经网络让特征传播在初始图和特征图进行，目的为提取初始图中所忽略的隐藏信息，引入得分数向量来自适应聚合初始图和特征图信息，同时减少参数量，提升了关系网络中节点分类的效果，在数据集关系复杂的条件下预测效果更好，该方法已经实验于论文引用网络、社交网络等数据集上，与传统的方法相比，该方法着重于考虑保留节点相似性来获取特征信息和结构信息中未获取的信息，从而使模型从图数据中提取更多相关信息来提升模型在分类领域的精度。

附图说明

图1是本发明所提供的文献引用关系网络的示意图。

图2是本发明所提供的社交网络用户关系网络的示意图。

图3是本发明所提供的节点分类模型的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施，而不是全部的实施，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明是基于半监督图神经网络节点的分类方法，具体为提供了保留节点相似性的多通道节点分类方法，在原有的多通道节点分类方法上进行了改进，具体技术方法如下：

一种基于多通道卷积神经网络的关系网络节点分类方法，包括以下步骤：

S1)：获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息、初始图网络中每个节点的节点特征信息和节点所属的标签类型；其中，每个节点代表一个对象，每条边代表两个对象之间存在关系，图1为文献之间引用关系网络的示意图，标签为论文的种类，此类数据集多数用于学术研究；图2为博客作者关系或用户关系网络的示意图，标签为主题类别或兴趣类别，此类数据集关系复杂，更加贴近真实数据，实验更有说服力。

S2)：根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；

S3)：建立节点分类模型，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，进行节点分类模型的预先训练，从初始图网络中选取节点作为测试样本，将所述样本在初始图网络中的结构信息、所述在初始图网络中每个样本节点的特征信息、以及所述样本在特征图中的结构信息输入预先训练的节点分类模型，预测出初始图网络中每个节点的标签类型；

S4)：基于预测出的每个样本节点的标签类型，确定每个样本节点所属于的类型。

所述特征图的构建包括如下步骤，

P1)：计算初始图网络中每两个节点特征信息之间的余弦相似度；所述余弦相似度的计算公式为

P2)：从初始图网络中任选一节点，将初始图网络中的其他节点与任选节点之间的余弦相似度由大到小进行排序，排序后选取前n个节点作为任选节点的相似节点；重复步骤P2)，直至得到初始图网络中每个节点所对应的相似节点；

P3)：根据初始图网络中的每个节点与每个节点所对应的相似节点构建的新结构图，即为特征图。

所述节点分类模型的预先训练包括如下步骤：

M1)：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点；

M2)：将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型；

M3)：根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。

如图3所示，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，步骤S3中所述确定每个样本节点的类型包括如下步骤：

N1)：从初始图网络中选取不少于500个测试节点作为样本，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，基于所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息及初始图卷积模块各层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第一概率Z

N2)：将所述样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入所述特征图卷积模块，基于所述特征图的结构信息、所述初始图网络中每个节点的特征信息及特征图卷积模块各层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第二概率Z

N3)：将样本在初始图网络的结构信息、样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入混合图卷积模块，基于所述初始图网络的结构信息、所述特征图的结构信息、所述初始图网络中每个节点的特征信息及所述混合图卷积模块各层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第三概率Z

N4)：根据注意力机制分别计算出第一概率Z

所述注意力机制Attention Mechanism是机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。

N5)：根据所述最终概率Z得到目标概率

作为本实施例中的一种优选方式，在得到所述目标概率后，可以根据根据公式

所述第一概率Z

根据公式

所述第二概率Z

根据公式

所述第三概率的计算方法为Z

根据公式

其中

其中，g

在本实施例中我们展示了整个模型的具体实施过程。首先我们基于余弦相似度构建特征图。然后我们将初始图网络数据分为训练集和测试集，训练集用于训练我们的节点分类模型，测试集为测试样本，用于测试我们模型分类的可用性。模型训练完成后，可以进行测试样本的测试，得到最终的预测结果。

我们这里给出具体实例，在训练集中，将用于训练的节点设置为六种标签类型，所述六种标签类型分别用阿拉伯数字“0”，“1”，“2”，“3”，“4”，“5”来表示，所述标签类型与类型之间存在一一对应关系。

作为本实施例的一种优选方式，

标签类型“0”对应“Agents(代理)”类型，

标签类型“1”对应“AI(人工智能)”类型，

标签类型“2”对应“DB(数据库)”类型，

标签类型“3”对应“IR(信息检索)”类型，

标签类型“4”对应“ML(机器语言)”类型，

标签类型“5”对应“HCI(人机交互)”类型，

而在测试样本中，如图1所示，我们聚焦于“文献1”、“文献2”“文献3”“文献4”和“文献5”五个节点，我们的目的是预测所述五个节点所属的类型。测试样本中的五个节点会归属于六种标签类型中的其中一类。

其中，五个节点在初始图中的关系如下：

根据步骤P1)至P3)，构建特征图，计算出初始图中每个节点对的余弦相似度，根据从大到小顺序排列，排序后选取前n个节点作为任选节点的相似节点，重复此步骤。这里我们设置n＝2，即选择每个节点的余弦相似度大小的前2个节点，构建特征图。在特征图中五个节点的相似节点如下：

根据步骤M1)至M3)，进行节点分类模型训练：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点，将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型，根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。

根据步骤N1)至N5)，进行测试样本的节点分类。首先，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，将初始图卷积模块最后得到的节点表示作为第一概率Z

“文献1”至“文献5”的最终概率Z的计算方法相同，作为示例，这里我们以“文献1”进行实例显示，其中，根据注意力机制得到“文献1”所对应的第一权重参数α

即(α

这里显示了各个概率融合到最终概率中的占比率，由此看出“文献1”的最终概率Z倾向于来自初始图卷积中的节点表示，而“文献1”的最终概率Z如下：

[[-1.8964e-01,-2.4484e-02,6.5703e-02,2.0857e-03,-3.5278e-03,1.5469e-01,-3.4055e-02,-9.8278e-02,-5.3509e-03,1.7797e-01,-1.2398e-01,1.1020e-02,-5.3788e-02,-2.0729e-01,-5.3806e-04,-8.7711e-02,5.2738e-02,1.6781e-01,2.5999e-02,8.8113e-02,-1.7256e-01,-1.3000e-01,2.3501e-02,-2.0691e-02,-1.9046e-01,5.8077e-02,1.8248e-01,1.0480e-01,-1.6763e-01,-1.5392e-01,-7.7066e-02,-1.1152e-01,1.4170e-01,-9.5199e-02,-2.0716e-01,-2.1608e-01,-1.2826e-01,1.1516e-01,1.9336e-01,-1.3856e-01,-1.8292e-02,1.4396e-01,7.7085e-02,3.3581e-02,-2.2920e-01,-1.5900e-01,-1.1940e-01,8.8034e-03,2.0687e-01,9.3206e-02,-6.0243e-02,2.7485e-02,2.3375e-01,-1.5980e-02,-1.2352e-01,3.0626e-01,-7.0809e-02,6.0845e-02,-2.4846e-01,4.7077e-02,6.8978e-02,-1.2602e-01,8.6309e-02,-2.3466e-02,-3.2573e-02,8.6598e-02,-2.1361e-01,-1.1599e-01,2.1240e-01,2.3468e-01,-2.7844e-01,2.6340e-02,1.1766e-01,-1.8952e-01,-1.5654e-01,-2.4385e-01,-1.2573e-01,1.4843e-01,2.7125e-01,-6.0084e-02,-1.0187e-01,2.1517e-01,1.8515e-01,-8.3308e-02,-4.6942e-02,-1.8877e-02,6.0850e-02,1.6874e-01,6.2441e-02,-7.8594e-02,1.8620e-01,-9.5290e-02,-9.7457e-02,7.5883e-02,6.5954e-02,-1.4156e-01,-2.9236e-02,7.4986e-02,1.2724e-01,5.6254e-02,-1.3283e-01,-1.4993e-01,1.8041e-01,-7.1334e-02,-1.4311e-01,2.2192e-01,-1.4695e-01,-1.4756e-01,-1.1377e-02,2.5690e-02,-2.3039e-02,8.4972e-02,-5.3974e-02,4.3540e-02,8.4904e-03,-4.6789e-02,2.6635e-01,-1.6776e-01,-6.7283e-02,1.4999e-01,8.4060e-02,1.6044e-02,7.0786e-02,-9.6623e-02,2.1166e-02,-7.6110e-02,1.3925e-01,1.7861e-01,5.1771e-02,1.7041e-01,-7.9937e-02,1.5362e-01,7.8227e-02,-1.7823e-01,-1.4875e-01,-4.9986e-02,2.7919e-01,-1.5044e-01,-1.5586e-01,1.0047e-01,7.9183e-02,6.4600e-02,-1.1892e-01,-1.0509e-01,-7.6071e-02,-1.3697e-01,-8.9507e-02,9.0122e-02,6.7373e-02,-1.1458e-01,1.8763e-02,-1.9579e-01,-5.6613e-02,2.2077e-01,-1.1296e-01,5.2767e-02,-1.9791e-01,2.3244e-02,1.8295e-01,-8.5419e-02,-1.9708e-01,-3.5857e-02,-1.8908e-01,-9.2022e-02,9.1542e-02,3.2047e-02,2.1223e-01,-1.9877e-01,-2.2631e-01,-1.7922e-02,-7.3849e-02,1.7110e-01,4.3544e-02,1.6024e-01,-1.7608e-02,1.1709e-01,2.0741e-01,1.4893e-01,2.3257e-01,-1.0924e-01,-1.2018e-02,-1.8619e-01,1.6754e-02,-1.1192e-01,2.9620e-02,4.9379e-02,9.8340e-02,2.4019e-02,-2.3560e-02,-1.8312e-01,-1.3338e-01,-2.2548e-01,8.1071e-02,-4.4915e-02,6.9543e-02,9.5034e-02,-5.7639e-02,-2.5595e-02,-1.8686e-01,1.4784e-01,-2.2012e-01,-2.5487e-02,8.6846e-03,-5.7999e-02,-7.3414e-02,-4.1770e-02,-2.5203e-02,8.9795e-02,3.5875e-02,-3.9365e-04,-1.3752e-01,-1.2965e-02,9.0721e-02,-1.5662e-01,-1.7900e-01,7.1016e-02,2.1460e-01,2.8029e-01,1.3025e-01,1.0482e-01,2.9128e-01,-7.9594e-02,2.7000e-01,-3.2800e-02,-2.5550e-02,-7.5329e-02,7.1395e-03,-1.3707e-01,3.6348e-02,2.1114e-03,-4.7330e-02,-6.2565e-02,1.6399e-01,-6.9421e-02,-2.3858e-01,1.4163e-02,-2.7458e-01,3.8189e-02,3.2984e-02,6.0864e-02,3.8421e-02,1.5838e-01,-3.4511e-02,-3.6576e-02,1.4623e-01,3.4781e-02,-3.6012e-02,1.5228e-01,-1.6335e-01,1.0979e-01,2.3959e-01,-9.5132e-03,-5.6379e-02,-3.4913e-02,-3.7966e-02,-1.8586e-01]]

最后，根据最终概率Z得到目标概率

根据步骤N1)至N5)得到样本节点对应各个标签类型的概率表如下：

由上表可知，在“标签类型0”至“标签类型5”中，

“文献1”所对应的概率最大的标签类型为“标签类型3”，所以“文献1”最终预测的标签类型为“3”；即为IR(信息检索)类型；

“文献2”所对应的概率最大的标签类型为“标签类型1”，所以“文献2”最终预测的标签类型为“1”；即为“Agents(代理)”类型；

“文献3”所对应的概率最大的标签类型为“标签类型5”，所以“文献3”最终预测的标签类型为“5”；即为“HCI(人机交互)”类型；

“文献4”所对应的概率最大的标签类型为“标签类型5”，所以“文献4”最终预测的标签类型为“5”；即为“HCI(人机交互)”类型；

“文献5”所对应的概率最大的标签类型为“标签类型3”，所以“文献5”最终预测的标签类型为“3”，即为“IR(信息检索)类型”。

所以，根据标签类型与类型之间的相对应的关系，可以确定初始网络中每个节点所属于的类型。

所述方法，使用多通道图卷积神经网络让特征传播在初始图和特征图进行，目的为提取初始图中所忽略的隐藏信息，引入得分数向量来自适应聚合初始图和特征图信息，同时减少参数量，提升了关系网络中节点分类的效果，在数据集关系复杂的条件下预测效果更好，该方法已经实验于论文引用网络、社交网络等数据集上。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。