一种基于跨模态融合的深度聚类方法及系统

摘要

本发明公开了一种基于跨模态融合的深度聚类系统，包括自编码器、图自编码器、跨模态信息融合模块和联合优化目标模块；自编码器，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；图自编码器，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；跨模态信息融合模块，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。

说明书

技术领域

本发明涉及无监督深度聚类技术领域，尤其涉及一种基于跨模态融合的深度聚类方法及系统。

背景技术

深度聚类，旨在以无监督的方式训练一个神经网络以学习具有判别能力的特征表示，从而将数据划分为若干个不相交的子集。由于深度神经网络具有强大的表征学习能力，研究者在诸多无监督应用场景中取得了巨大成功，包括异常检测、社交网络分析以及人脸检测。在深度聚类方法中，两个关键因素：优化目标和特征提取的方式很大程度上决定了聚类方法的性能。具体而言，在无监督聚类场景下，由于在模型学习过程中不具有标签的指导，因此设计一种巧妙的目标函数与一套有效的聚类框架去捕获更丰富全面的信息，并用其来揭示数据的内部结构，是及其重要且具有挑战性的。

根据网络的优化目标，深度聚类方法大致分为五类：基于子空间的方法[Zhou,L.；Bai,X.；Wang,D.；Liu,X.；Zhou,J.；and Hancock,E.2019a.Latent DistributionPreserving Deep Sub-space Clustering.In IJCAI,4440–4446]、基于生成式的方法[Mukherjee,S.；Asnani,H.；Lin,E.；and Kannan,S.2019.ClusterGAN:Latent SpaceClustering in Generative Adversarial Networks.In AAAI,1965–1972]、基于谱聚类的方法[Yang,X.；Deng,C.；Zheng,F.；Yan,J.；and Liu,W.2019b.Deep Spectral ClusteringUsing Dual Autoencoder Network.In CVPR,4066–4075]、基于高斯混合模型的方法[Yang,L.；Cheung,N.-M.；Li,J.；and Fang,J.2019a.Deep Clustering by GaussianMixture Variational Autoencoders with Graph Embedding.In ICCV,6440–6449]以及基于自优化机制的方法[Xie,J.；Girshick,R.；and Farhadi,A.2016.Unsupervised DeepEmbedding for Clustering Analysis.In ICML,478–487]、[Guo,X.；Gao,L.；Liu,X.；andYin,J.2017.Improved Deep Embedded Clustering with Local StructurePreservation.In IJCAI,1753–1759]。在这些方法中，前期工作主要关注如何利用原始数据空间的属性信息进行聚类。为了更进一步提升聚类效果，近期工作逐步探索如何挖掘数据的几何结构信息并将其与数据的属性信息进行融合。具体而言，杨等人提出一种基于随机游走的图嵌入方法，将局部数据结构添加至深度高斯混合模型中来完成聚类过程。周等人提出基于分布存储的子空间聚类方法，首先度量每个原始数据空间的密度分布以及隐嵌入空间的核密度分布，随后通过最小化两个子空间的分布差异性来生成数据内部的聚类结构。图卷积网络近期引起了研究者的广泛关注，此技术通过聚合节点的邻居信息以学习更鲁棒的表征。深度注意力嵌入图聚类方法首先通过图注意力图编码器提取图结构信息与节点属性信息，随后通过一种自优化嵌入方法来重构邻接矩阵[Wang,C.；Pan,S.；Hu,R.；Long,G.；Jiang,J.；and Zhang,C.2019a.Attributed Graph Clustering:A DeepAttentional Embedding Approach.In IJCAI,3670–3676]；对抗正则化图自编码器利用一个对抗正则器去指导隐嵌入特征的学习[Pan,S.；Hu,R.；Fung,S.-F.；Long,G.；Jiang,J.；and Zhang,C.2020.Learning Graph Embedding with Adversarial TrainingMethods.IEEE Transactions on Cybernetics50(6):2475–2487]；结构化深度聚类网络将自编码器和图卷积模块集成为一个统一的框架，通过设计信息传递算子和一种对偶的自监督学习机制来引导模型的训练[Bo,D.；Wang,X.；Shi,C.；Zhu,M.；Lu,E.；and Cui,P.2020.Structural Deep Clustering Network.In WWW,1400–1410]。

当前深度聚类方法通过整合多种类别的信息实现了聚类性能的大幅提升。然而这些方法仍存在以下两点问题：1)缺乏一种跨模态动态信息融合与处理机制。两种模态的信息进行简单融合或拼接会导致信息交互不足；2)现有工作中目标分布的生成过程几乎没有考虑利用两种模态的信息，这使网络的训练不够全面和准确。因此，数据的结构信息与属性信息的交互存在阻碍，从而无法提高深度聚类方法的性能。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于跨模态融合的深度聚类方法及系统。

为了实现以上目的，本发明采用以下技术方案：

一种基于跨模态融合的深度聚类系统，包括自编码器、图自编码器、跨模态信息融合模块和联合优化目标模块；所述图自编码器与自编码器连接，所述跨模态信息融合模块分别与自编码器和图自编码器连接；所述联合优化目标模块分别与自编码器、图自编码器、跨模态信息融合模块连接；

自编码器，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；

图自编码器，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；

跨模态信息融合模块，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；

联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。

进一步的，所述图自编码器中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：

图自编码器中的编码器和解码器的形式，表示为：

其中，Z

图自编码器的最小化混合损失函数L

L

其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；L

其中，

进一步的，所述跨模态信息融合模块包括跨模态动态融合机制和三元组自监督策略；

跨模态动态融合机制，用于将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；

三元组自监督策略，用于根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布以及目标分布。

进一步的，所述跨模态动态融合机制具体包括：

组合模块，用于将自编码器和图自编码器的隐嵌入进行线性组合，得到初始化融合嵌入信息，表示为：

Z

其中，d′表示隐嵌入维数；α表示可学的系数矩阵；Z

处理模块，用于基于图卷积的操作增强初始化融合嵌入信息，表示为：

其中，Z

重组模块，用于基于自相关学习机制，对初始化融合嵌入信息进行重组，表示为：

Z

其中，Z

传导模块，用于基于跳跃连接方式使信息在融合机制中传导，表示为：

其中，β表示尺度参数；

进一步的，所述三元组自监督策略中生成软分配分布以及目标分布，表示为：

其中，

进一步的，所述三元组自监督策略中生成目标分布后还包括：

通过三元组聚类损失提高每个部分的表示能力，其中三元组聚类损失表示为：

其中，L

进一步的，所述联合优化目标模块中同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程具体包括：

计算自编码器和图自编码器的重构损失，计算自编码器、图自编码器与目标分布相关的聚类损失，表示为：

L＝L

其中，L

相应的，还提供一种基于跨模态融合的深度聚类方法，包括：

S1.自编码器对图数据的属性信息进行特征提取并重构原始属性矩阵；

S2.图自编码器对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；

S3.跨模态信息融合模块将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；

S4.联合优化目标模块同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。

进一步的，所述步骤S2中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：

图自编码器中的编码器和解码器的形式，表示为：

其中，Z

图自编码器的最小化混合损失函数L

L

其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；L

其中，

进一步的，所述步骤S3具体包括：

S31.将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；

S32.根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布以及目标分布。

与现有技术相比，本发明提出了一种新颖的基于跨模态信息融合的深度聚类方法及系统，该方法包括自编码器模块、图自编码器模块、跨模态信息融合模块和联合优化目标。大量的消融实验表明，本发明充分融合结构信息与属性信息有助于编码更紧凑和更具有判别性的信息，进而能够生成更加鲁棒的目标分布，为网络的学习提供更精准的指导。在六个公共数据集上的实验结果证明本发明的性能优于现有方法的性能。

附图说明

图1是实施例一提供的一种基于跨模态融合的深度聚类系统结构图；

图2是实施例二提供的跨模态信息融合模块结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明针对现有缺陷，提供了一种基于跨模态融合的深度聚类方法及系统。核心思想是：充分提取自编码器的节点属性信息与图自编码器的结构化信息，并设计一种动态信息融合模块将两者结合以实现精准的表征重构过程。具体而言，本发明精心设计了一种结构与属性信息融合模块。首先，从局部和全局层面融合两种类型的嵌入特征以获取共识表征信息。其次，通过评估样本之间的相似度以及学生T-分布计算出预聚类中心，获得软分配分布Q和目标分布P。最后，设计一种三元自监督机制，该机制利用目标分布同时为自编码器、图自编码器与信息融合部分提供学习指导。此外，深度融合聚类网络还包括一种改进的图自编码器，该自编码器的结构是对称的且通过隐变量与解码器输出变量来同步重构邻接矩阵。本发明既解决了当前深度聚类方法存在多源信息交互不足的问题，也解决了基于自优化的深度聚类方法存在的目标分布不够鲁棒的问题。

实施例一

本实施例提供的一种基于跨模态融合的深度聚类系统，包括自编码器11、图自编码器12、跨模态信息融合模块13和联合优化目标模块；图自编码器11与自编码器12连接，跨模态信息融合模块13分别与自编码器11和图自编码器12连接；联合优化目标模块分别与自编码器11、图自编码器12、跨模态信息融合模块13连接。

自编码器11，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；

图自编码器12，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；

跨模态信息融合模块13，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；

联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。

在本实施例中，假设存在一个无向图G＝{V,E}，具有K个聚类中心，V＝{v1,v2,...,v

无向图G的度矩阵为D＝diag(d

在自编码器11中，对图数据的属性信息进行特征提取并重构原始属性矩阵。

本实施例的自编码器为基于融合的自动编码器，而现有大多数生成式编码器中，无论是自编码器还是图自编码器，都仅利用其自身的隐嵌入来重构输入。相比之下，本实施例提出一种基于自编码器和图自编码器的紧凑表示法。具体而言，首先将来自自编码器和图自编码器的两种模态信息进行整合以生成共识的隐嵌入形式。然后，将自编码器和图自编码器的嵌入作为共识输入来重构两个子网的输入。与现有方法不同，本实施例提出的方法利用精心设计的融合模块将结构信息和属性信息进行融合，然后使用共识的隐嵌入重构两个子网的输入。

在图自编码器12中，对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵。

自编码器的结构通常是对称的，而图自编码器的结构通常是非对称的。图自编码器只利用隐嵌入来重建邻接矩阵，这忽略了基于结构的属性信息可以用于提高网络泛化能力的性质。为了更好地利用邻接信息和属性信息，本实施例设计了一种改进的图自编码器(Improved Graph Auto-encoder，IGAE)。该网络需要同时重构加权属性矩阵和邻接矩阵，其编码器和解码器的形式化表示为：

其中，Z

图自编码器的最小化混合损失函数L

L

其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；L

其中，

通过最小化公式(4)和公式(5)，所提的改进图自编码器同时最小化加权属性矩阵和邻接矩阵的重构损失。

在跨模态信息融合模块13中，将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布。

为了充分挖掘自编码器和改进的图自编码器所提取的图结构信息和节点属性信息，本实施例提出一种结构与属性信息融合模块。如图2所示，该模块由两部分组成，即跨模态动态融合机制和三元组自监督策略。

跨模态动态融合机制，从局部与全局层面出发，完成两种模态的隐嵌入信息的深度交互并生成更紧凑的共识隐嵌入；

三元自监督策略，在共识隐嵌入和预计算初始化聚类中心的基础上，生成更加精准的软分配分布Q以及更鲁棒的目标分布P。

本实施例提出的跨模态动态融合机制主要包括四个步骤，具体包括：

组合模块，用于将自编码器和图自编码器的隐嵌入进行线性组合，得到初始化融合嵌入信息；

自编码器(Z

Z

其中，d′表示隐嵌入维数；α表示可学的系数矩阵，该系数矩阵根据不同数据集的属性选择性地评估两种模态信息的重要性；Z

在本实施例中，α初始化为0.5，通过随机梯度下降法进行自动调整。

处理模块，用于基于图卷积的操作增强初始化融合嵌入信息；

设计一种类似图卷积的操作(即消息传递操作)用于处理组合信息。通过上述操作，建模数据的局部结构化信息用于增强初始化融合嵌入信息Z

其中，Z

重组模块，用于基于自相关学习机制，对初始化融合嵌入信息进行重组；

引入自相关学习机制，用于建模初始信息融合空间的非局部关系。具体而言，首先通过下述公式计算归一化的自相关矩阵，表示为：

利用S作为系数矩阵，通过计算样本间的全局相关关系对Z_L进行重组，表示为：

Z

其中，Z

传导模块，用于基于跳跃连接方式使信息在融合机制中传导；

设计一种跳跃连接方式以促进信息在融合机制中传导，表示为：

其中，β表示尺度参数，将其初始化为0并在训练网络时使其权值梯度可导；

跨模态动态融合机制从局部和全局两方面考虑样本的相关性。因此，该模块有助于融合和校对自编码器和图自编码器的信息，从而学习质量更高的共识隐嵌入。

本实施例提出的三元组自监督策略具体为：

为了给聚类方法的训练过程提供可靠的指导，本发明通过融合自编码器和图自编码器所生成的聚类嵌入

其中，

在本实施例中，使用学生T-分布作为基核，计算融合嵌入空间中第i个样本

软分配矩阵Q∈R

通过迭代生成的目标分布，根据公式(10)来计算自编码器和改进的图自编码器隐嵌入的软分配分布。自编码器和改进的图自编码器的软分配分布表示为Q′和Q″。

为了在统一框架中训练网络并提高每个部分的表示能力，本实施例设计三元组聚类损失，表示为：

其中，L

自编码器和改进的图自编码器的软分配分布以及融合嵌入与鲁棒的目标分布同时对齐。由于目标分布在无监督模式下生成，因此本发明将损失函数称为三元组聚类损失，其相对应的训练机制称为三元组自监督策略。

在联合优化目标模块中，同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。

模型的学习目标主要包括两个部分：

1)自编码器和改进的图自编码器的重构损失；

2)与目标分布相关的聚类损失。

损失表示为：

其中，L

与结构化深度聚类网络不同，本发明提出的深度融合聚类网络用共识的隐嵌入重构两个子网络的输入。入是一个预定义的超参数，用于平衡重构和聚类的重要性。

与现有技术相比，本实施例具有以下有益效果：

1、本实施例提供了一种结构与属性信息融合模块，该模块用于增强属性信息与结构信息的交互。首先，自编码器和图自编码器利用共识隐嵌入来重构原始输入，这有助于隐嵌入泛化能力的提升；其次，通过融合自编码器与图自编码器的互补性信息，生成的目标分布的可靠性得到增强；最后，三元自监督学习机制将自编码器、图自编码器与融合部分统一为同一个优化框架，从而提升了隐嵌入的质量与聚类的性能。

2、本实施例提供了一种改进的图自编码器，克服现有编码方法仅重构结构化信息的局限性，通过联合重构结构信息与加权的属性信息来提升聚类框架的泛化能力。

本实施例针对当前深度聚类方法没有充分考虑多种模态信息的融合以及生成目标分布的鲁棒性较差，导致表征学习次优与聚类性能不足的问题，本实施例目的在于提供一种基于跨模态信息融合的深度聚类系统，对两种模态的样本节点进行局部与全局层面的融合。随后，通过评估样本之间的相似度以及由学生T-分布计算出的预聚类中心，在融合嵌入空间中计算软分配分布Q和目标分布P。随后，在目标分布的指导下，重构邻接矩阵、属性矩阵以及局部信息加权后的属性矩阵，同时优化融合部分来训练一个端到端的深度神经框架。最后，利用K均值聚类算法在加权后的融合嵌入空间中执行聚类，实现无监督深度图信息聚类的目的。

实施例二

本实施例提供的一种基于跨模态融合的深度聚类系统与实施例一的不同之处在于：

本实施例在多个数据集上与现有方法进行对比以验证本发明的有效性。

数据集：

本实施例所使用的数据集共有六种，包括三种图数据集与三种非图数据集，数据集的统计信息如表1所示。

表1

其中，USPS：[LeCun,Y.；Matan,O.；Boser,B.E.；Denker,J.S.；Henderson,D.；Howard,R.E.；Hubbard,W.E.；Jacket,L.D.；and Baird,H.S.1990.Handwritten Zip CodeRecognition with Multilayer Networks.In ICPR,36–40]；

HHAR：[Lewis,D.D.；Yang,Y.；Rose,T.G.；and Li,F.2004.RCV1:A New BenchmarkCollection for Text Categorization Research.Journal of Machine LearningResearch 5(2):361–397]；

REUT：[Stisen,A.；Blunck,H.；Bhattacharya,S.；Prentow,T.S.；

ACM：[http://dl.acm.org]；

DBLP：[https://dblp.uni-trier.de]；

REUT：[http://citeseerx.ist.psu.edu/index]

USPS：该数据集属于图像类型，包含9298张16×16大小的单通道图像，均匀分布在10个类别中。

HHAR：该数据集属于文本类型，包含10299条文本数据，每条数据具有561维特征，均匀分布在6个类别中。

REUT：该数据集属于文本类型，包含10000条文本数据，每条数据具有10000维特征，均匀分布在3个类别中。

ACM：该数据集属于图类型，包含3025个图节点，每个节点具有10000维特征，均匀分布在4个类别中。

DBLP：该数据集属于图类型，包含4058个图节点，每个节点具有334维特征，均匀分布在4个类别中。

REUT：该数据集属于图类型，包含3327个图节点，每个节点具有3703维特征，均匀分布在6个类别中。

训练流程：

本实施例的实现环境是Pytorch平台，训练方法总共包括以下四步。

1)首先，通过最小化重构损失函数，分别对自编码器和图自编码器单独训练30个循环；

2)然后，将两个子网络集成至一个统一的框架下，该过程训练100个循环；

3)随后，根据预计算的初始化聚类中心与三元自监督策略，对整个深度聚类框架训练200个循环直至模型收敛；

4)最后，在共识聚类嵌入空间中利用K均值算法对样本进行划分，从而获得每个样本的聚类ID。遵循现有工作的训练策略，为了避免聚类结果由网络参数初始化造成的随机性，本发明对每组实验重复10次并汇报10次结果的均值和标准差。

参数设置：

本实施例统一使用Adam优化对模型进行优化。在USPS和HHAR数据集上的模型学习率设置为0.001，在REUT、DBLP和CITE数据集上的模型学习率设置为0.0001，在ACM数据集上的模型学习率设置为0.00005。训练批次参数设置为256，并采用早停策略避免模型过拟合。根据超参数敏感性分析实验，两个平衡因子γ和λ分别设置为0.1和10。对于非图数据集，在构造邻接矩阵的过程中，每个样本的邻居个数值设置为5。

评价指标：

本实施例采用深度聚类算法领域公认的四种评价指标：聚类精度(ACC),正则化互信息(NMI)，平均Rand指数(ARI)和F1分数。每个样本的聚类ID和类别ID之间的匹配关系采用匈牙利算法(Kuhn-Munkres[Lovász,L.；and Plummer,M.1986.Matching Theory])。

对比方法：

本实施例在6种多类型数据集上与10种基准算法进行对比实验。对比方法包括K均值算法、自编码器、深度嵌入聚类法、改进的深度嵌入聚类法、图自编码器、图变分自编码器、对抗正则图自编码器、深度注意力图嵌入聚类法以及结构化深度聚类法。

如表2所示，通过将本实施例方法与现有方法的比较可得出以下结论。1)在多种数据集上，本实施例的聚类性能优于对比方法。具体而言，K均值聚类法直接在原始数据上执行聚类；自编码器、深度嵌入聚类法与改进的深度嵌入聚类法仅挖掘数据的属性信息来学习用于聚类的隐嵌入。这些方法没有将数据的结构信息考虑在内，因此获得的聚类结果是次优的。相比之下，本实施例充分整合了原始数据的属性信息和结构信息，并对两种模态信息进行互补学习共识的嵌入表征，从而提升隐嵌入的质量与聚类效果；2)现有基于图卷积的聚类方法，例如图自编码器、图变分自编码器、对抗正则图自编码器与深度注意力图嵌入聚类法，没有充分挖掘数据自身的属性信息，且存在由于信息不断聚合造成的过平滑现象。本实施例将自编码其中基于属性的表征整合至统一的聚类框架中，通过融合模块对图结构与节点属性进行交互式学习共识嵌入，从而提升了聚类性能；3)相比最先进的两种聚类方法、结构化深度聚类法及其变种，本发明在六个数据集上实现了性能的全面提升。以DBLP数据集为例，本发明的性能明显优于SDCN和SDCN-Q，在精度、均值互信息、平均Rand指数(ARI)和F1分数四种指标上分别提升了7.9％、4.2％、7.8％和8.0％。

表2

根据表2可得出在六个公共数据集上的实验结果证明本发明的性能优于现有方法的性能。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。