图挖掘

摘要： [目的/意义]数据驱动的产业技术情报分析,是数据战略浪潮下的科技尖兵。本文旨在完善现有产业技术情报分析方法体系,进一步融合新兴算法以促进其发展。[研究设计/方法]梳理了目前产业技术情报分析中采用的方法,简述了各种分析方法的研究特点,提出在大数据环境下革新传统情报分析思路,塑造数据驱动的产业技术情报分析模式,构建了数据驱动的产业技术情报分析核心方法体系框架。[结论/发现]面向六大产业技术情报分析目标,针对识别、预测、评估、预警四大情报分析任务,本文构建文本数据、网络数据、图像数据三类核心数据驱动的,囊括文本挖掘、图挖掘、图像挖掘三大方法体系的产业技术情报分析方法框架。[创新/价值]构建了文本数据、网络数据、图像数据三维驱动的产业技术情报分析方法体系框架,凝练文本挖掘、图挖掘、图像挖掘三种非结构数据情报分析模式。

摘要： 为了解决图挖掘应用中子图匹配任务的性能问题,本文提出了一种基于图形处理单元(GPU)的顶点预剪枝子图匹配系统(GVSM)。GVSM采用黑名单剪枝算法和调度排序来减少冗余搜索。利用前缀树数据结构,GVSM可以对中间结果进行压缩,以便快速索引并降低内存消耗。GVSM将子图匹配的搜索部分卸载到GPU上执行,通过设计软件流水线进行重叠计算和数据移动,在PCI-E接口传输数据图拓扑数据的同时激活中央处理器(CPU)与GPU上的计算,并用动态负载均衡的方法减少计算资源的浪费。实验结果表明,本文方法能够有效提升子图匹配算法的性能,GVSM在性能上相比国际同类算法有显著提升,并且能处理更大规模的数据。

摘要： 网络智慧教育体系图挖掘技术和偏执协同过滤算法是当前学习资源获取、分享、分析和学习的重要技术支持和关键平台。使用大数据分析学习者的学习行为和学习情况等特征,并结合图挖掘算法信息检索能力、关键词获取能力和图挖掘向量分类能力实现教育资源信息共享共建;偏置协同过滤算法通过融合用户活跃程度相似度、融合兴趣相似度实现兴趣用户推荐,同时解决了算法稀疏性和冷启动问题,实现了算法的预测精度和个性化推荐过程。通过协同图挖掘和偏执协同过滤算法,让学习者更精准地找到有共同学习兴趣的学习伙伴,提升学习者对教育虚拟社区的黏性。

摘要： LDA作为文本主题识别领域中使用最广泛的模型之一,其基于词袋模型的假设简单化地赋予词汇相同的权重,使得主题分布易向高频词倾斜,影响了识别主题的语义连贯性。本文针对该问题提出一种基于图挖掘的LDA改进算法GoW-LDA,首先基于特征词对在文本中的共现先后关系构建语义图模型,然后利用网络统计特征中节点的加权度,将文本的语义结构特点和关联性以权重修正的形式融入LDA主题建模中。实验结果显示,GoW-LDA相较于传统LDA和基于TF-IDF的LDA,能够大幅降低主题模型的混淆度,提高主题识别的互信息指数,并且有效减少模型的训练时间,为文本主题识别提供了一种新的解决思路。

摘要： 随着电商的不断发展,如何发现刷单账户以维护市场秩序是亟待解决的问题.根据用户的购买记录构建用户关系网络图.根据电商刷单特性,提出通过计算用户之间的关联性来对抗伪装,并提出了一种密集子图可疑度量.根据关联性和密集子图可疑度量,实现了一种针对电商的刷单团伙识别方法.实验结果表明,在真实的天猫数据集上,所提出的方法能有效地捕捉刷单团体,结果与FRAUDAR算法相近,有较好的识别效果.

摘要： 随着电商的不断发展,如何发现刷单账户以维护市场秩序是亟待解决的问题。根据用户的购买记录构建用户关系网络图。根据电商刷单特性,提出通过计算用户之间的关联性来对抗伪装,并提出了一种密集子图可疑度量。根据关联性和密集子图可疑度量,实现了一种针对电商的刷单团伙识别方法。实验结果表明,在真实的天猫数据集上,所提出的方法能有效地捕捉刷单团体,结果与FRAUDAR算法相近,有较好的识别效果。

摘要： 如何准确、有效地发现虚拟社交网络中的社区或群体是复杂社交网络中的一个热点问题.本研究认为在线社交网络中用户之间显性的对话或彼此评论形成了一种网络结构,既包含社交网络底层的拓扑结构信息,又包含网络实体进行交互的确切时间,具有时效性.为了揭示虚拟社交网络中隐藏的动态现象,给出了一种同时考虑主题和时间的在线社交网络发现算法——多时间密集子图发现算法.首先,将在线社交网络中的对话或评论建模为一个交互网络,再利用拓扑结构将网络划分为属于不同主题(如热门新闻或话题)的社区,然后依据时间维度对每个主题下的社区挖掘稠密子图,最后在真实数据集上对所提算法进行了评估.与比较算法相比,本算法发现的团体内部间的交互在时间上更加密集,具有更高的时效性.

摘要： 广泛的恶意活动依赖DNS来管理其受感染计算机的大型分布式网络,目前,主要的恶意域名检测方法是基于DNS相关的局部域特征构建分类器,但这样做存在着一些无法克服的弊端,如攻击者可以在不影响其攻击能力的情况下改变域名模式和时态模式等特性来逃避检测,从而导致这些方法所依赖的特征不稳定.因此,利用攻击者总是循环利用资源,频繁更改域名-IP解析,并创建新的域名来避免被检测这一特点,从所有域的查询历史回溯的标记域来验证和找出它们之间的关联,图是代表这种关系的最佳候选,有许多基于图开发的算法都具有高性能.我们以域名和主机ip为数据源构建DNS图,挖掘域和主机ip之间的内在关系,并基于置信传播算法(BP算法)的思想提出了一种计算图中每个节点信誉评分的算法,节点显示出的信誉分数越高,推断出的恶意概率就越高.为了证明方法的有效性,利用恶意域检测技术,并在从DNS数据服务器中收集的真实数据集上进行了评估.

摘要： 针对稀疏子图发现问题中使用高维稀疏向量表示网络信息存在的时间和空间消耗大的问题,提出一种基于网络嵌入的稀疏子图发现(TGF)算法.该算法首先通过网络嵌入的方法将网络结构映射到低维空间中,得到节点的低维向量表示;然后定义向量空间中的稀疏子集发现问题,将稀疏子图发现问题转化为稀疏子集发现问题;迭代搜索局部密度最低的样本点并对其进行扩张,最终找到一个满足条件的最大稀疏子集.实验结果表明,在Synthetic_1000数据集上与TERA(Triangle and Edge Reduction Algorithm)和WK(Weight of K-hop)算法相比,TGF算法的搜索效率是TERA的1353倍,是WK算法的4倍,并且在k-line、k-triangle和k-density指标上也取得了较优的结果.

摘要： 业务流程管理和业务智能化是近年来备受关注的领域.这些技术的应用可以提高业务处理的效率,并且节省了可观的成本.基于图的概念(如对象、数据等)表示也被应用于业务领域,作为对上述技术的支持.图挖掘方法已被成功应用于发现新关系、新知识和可视化等许多领域.本文探讨了已成功应用图形挖掘技术的领域,同时也讨论了在业务流程中应用此项技术的优势和面临的一些问题.

摘要： 海量微博数据一方面带来了及时、丰富而多维度的信息,另一方面因其包含零碎的信息而对了解事件全貌和发展演化带来挑战.本文以Twitter为研究对象,研究了基于微博的事件感知和脉络呈现方法,对现实生活中正在发生的事件进行提取,并呈现事件发展的过程.对微博的处理分为事件感知阶段和事件脉络呈现阶段.在事件感知阶段对原始微博进行过滤分析,得到与事件相关的微博集.在事件脉络呈现阶段采用基于图结构的方法,将微博之间的关系转换成图中结点之间的关系,寻找图中的关键结点作为关键微博,并连接关键结点,得到最终的事件脉络.实验结果表明本文提出的方法能呈现事件的发展过程,同时也能体现事件发展的多样化.

摘要： 海量微博数据一方面带来了及时、丰富而多维度的信息,另一方面因其包含零碎的信息而对了解事件全貌和发展演化带来挑战.本文以Twitter为研究对象,研究了基于微博的事件感知和脉络呈现方法,对现实生活中正在发生的事件进行提取,并呈现事件发展的过程.对微博的处理分为事件感知阶段和事件脉络呈现阶段.在事件感知阶段对原始微博进行过滤分析,得到与事件相关的微博集.在事件脉络呈现阶段采用基于图结构的方法,将微博之间的关系转换成图中结点之间的关系,寻找图中的关键结点作为关键微博,并连接关键结点,得到最终的事件脉络.实验结果表明本文提出的方法能呈现事件的发展过程,同时也能体现事件发展的多样化.

摘要： 海量微博数据一方面带来了及时、丰富而多维度的信息,另一方面因其包含零碎的信息而对了解事件全貌和发展演化带来挑战.本文以Twitter为研究对象,研究了基于微博的事件感知和脉络呈现方法,对现实生活中正在发生的事件进行提取,并呈现事件发展的过程.对微博的处理分为事件感知阶段和事件脉络呈现阶段.在事件感知阶段对原始微博进行过滤分析,得到与事件相关的微博集.在事件脉络呈现阶段采用基于图结构的方法,将微博之间的关系转换成图中结点之间的关系,寻找图中的关键结点作为关键微博,并连接关键结点,得到最终的事件脉络.实验结果表明本文提出的方法能呈现事件的发展过程,同时也能体现事件发展的多样化.

摘要： 海量微博数据一方面带来了及时、丰富而多维度的信息,另一方面因其包含零碎的信息而对了解事件全貌和发展演化带来挑战.本文以Twitter为研究对象,研究了基于微博的事件感知和脉络呈现方法,对现实生活中正在发生的事件进行提取,并呈现事件发展的过程.对微博的处理分为事件感知阶段和事件脉络呈现阶段.在事件感知阶段对原始微博进行过滤分析,得到与事件相关的微博集.在事件脉络呈现阶段采用基于图结构的方法,将微博之间的关系转换成图中结点之间的关系,寻找图中的关键结点作为关键微博,并连接关键结点,得到最终的事件脉络.实验结果表明本文提出的方法能呈现事件的发展过程,同时也能体现事件发展的多样化.

摘要： 随着图规模的增大,当前的大多数图聚类算法在时间和空间方面的伸缩性表现很差.一个重要发现是,许多聚类应用只需要最佳簇形成的子集合,而不是整个图中的所有簇.针对这种实际情况,提出一种剪枝策略Best Nodes(BN),找到最有可能是最佳簇组成部分的那些节点.通过实验证明,能够明显提高聚类算法的可伸缩性。

摘要： 随着图规模的增大,当前的大多数图聚类算法在时间和空间方面的伸缩性表现很差.一个重要发现是,许多聚类应用只需要最佳簇形成的子集合,而不是整个图中的所有簇.针对这种实际情况,提出一种剪枝策略Best Nodes(BN),找到最有可能是最佳簇组成部分的那些节点.通过实验证明,能够明显提高聚类算法的可伸缩性。

摘要： 随着图规模的增大,当前的大多数图聚类算法在时间和空间方面的伸缩性表现很差.一个重要发现是,许多聚类应用只需要最佳簇形成的子集合,而不是整个图中的所有簇.针对这种实际情况,提出一种剪枝策略Best Nodes(BN),找到最有可能是最佳簇组成部分的那些节点.通过实验证明,能够明显提高聚类算法的可伸缩性。

摘要： 随着图规模的增大,当前的大多数图聚类算法在时间和空间方面的伸缩性表现很差.一个重要发现是,许多聚类应用只需要最佳簇形成的子集合,而不是整个图中的所有簇.针对这种实际情况,提出一种剪枝策略Best Nodes(BN),找到最有可能是最佳簇组成部分的那些节点.通过实验证明,能够明显提高聚类算法的可伸缩性。

摘要： 本发明公开了一种有向无环图的电网企业频繁节点挖掘方法及系统。本发明以有效找出反应真实电网企业中复杂网络情况的频繁项集，构建候选频繁集二进制表，并构建二进制表的有向无环图，借鉴PageRank排名算法，结合复杂网络节点重要性评估特点，快速的评估有向无环图中节点的重要性，提高频繁集的挖掘效率为目的，分为以下步骤：a)对目标数据库进行一次遍历，将数据库投影至二进制位表，并根据所生成的二进制位表进行频繁项统计，构建有向无环图，并将频繁项支持度设为连接权值；b)借鉴PageRank排序算法思想，采用有向加权复杂网络节点重要性评估指标对网络中频繁节点进行评估，最终得到频繁集节点。

摘要： 本发明公开了一种有向无环图的电网企业频繁节点挖掘方法及系统。本发明以有效找出反应真实电网企业中复杂网络情况的频繁项集，构建候选频繁集二进制表，并构建二进制表的有向无环图，借鉴PageRank排名算法，结合复杂网络节点重要性评估特点，快速的评估有向无环图中节点的重要性，提高频繁集的挖掘效率为目的，分为以下步骤：a)对目标数据库进行一次遍历，将数据库投影至二进制位表，并根据所生成的二进制位表进行频繁项统计，构建有向无环图，并将频繁项支持度设为连接权值；b)借鉴PageRank排序算法思想，采用有向加权复杂网络节点重要性评估指标对网络中频繁节点进行评估，最终得到频繁集节点。

摘要： 本发明涉及一种基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法。该方法对训练数据中的图进行子图采样；通过有标注的已经对齐的节点对，利用图神经网络学习子图中节点的低维向量表示；根据子图中节点的低维向量表示计算节点之间的相似度，并以相似度作为依据对图进行对齐，最终获得训练好参数的图神经网络；在推测阶段，对待对齐的两图通过训练好的图神经网络得到每个节点的低维向量表示，进而计算节点之间的相似度，并以相似度作为依据对两图进行对齐，进而利用对齐后的多图数据进行联合数据挖掘。本发明在有监督的设置下，考虑了模型的表达性能，损失函数设置，以及表示向量空间约束和可扩展性，实现了对已有方法的提升。

摘要： 本发明公开一种基于图摘要的图模式挖掘方法PDDGS算法，依次包括以下步骤：步骤1：给定输入图G和支持度S，使用RoG算法将输入图G进行摘要，得到摘要图Gs；步骤2：根据步骤1得到的摘要图G是，运用GraphZip算法进行图模式挖掘，产生候选集合；步骤3：对候选集合进行筛选，生成挖掘结果。通过引入图摘要阶段，将原始图进行拆解、划分，大大提高了图模式挖掘的效率。因此本发明具有较高的使用价值。

摘要： 本发明公开了一种基于异质图的多模式交通运行态势关联规则挖掘方法，首先获取多模式交通系统订单数据，基于订单数据的空间分布进行层次划分，构建用于表征区域内交通态势的异质图结构；然后获取城市POI数据，统计城市各区域的POI热度概率分布，并基于聚类方法对划分方法进行功能区分类；最后设计基于分层Eclat的关联规则挖掘方法，从超节点间提取事务数据集挖掘频繁项集，得到有价值的知识，针对知识所在的超节点，对其包含的子节点进行细粒度挖掘，以全面立体地挖掘多模式交通系统间的关联规则。本发明可以全面立体地在异质图上挖掘多模式交通系统间的关联规则，避免随着挖掘粒度增加导致的数据稀疏问题，给城市交通管理提供参考依据。

摘要： 本发明公开了一种基于等价结构挖掘网络资产图的化简方法，该方法包括：S01、分类并定义等价结构：将等价结构进行分类并定义各类的判别方法；S02、统计并为等价结构节点贴上标签：根据步骤S01定义的等价结构以及判别方法对原始数据进行统计，为对应等价结构的节点标识特定的标签，然后进行分类；S03、设计化简方案：根据步骤S02的分类及统计结果，通过化简比例计算函数进行“非独立型等价结构”的化简，通过固定的化简方案对“独立型弱等价结构”进行化简；S04、根据等价结构化简比例处理数据。本申请可以有效解决资产图谱中视觉冗余的问题，同时还能保持化简前后整体拓扑结构的一致性，适合推广应用。

摘要： 本发明涉及一种基于内网日志行为图的数据挖掘方法及系统，涉及数据挖掘技术领域。所述方法包括以下步骤：获取内网日志信息并进行解析，提取其中的主体、客体以及主体对客体的行为；基于所述主体、客体以及主体对客体的行为，构建行为图；其中，所述行为图的节点表示主体或客体，连边表示主体对客体的行为，连边的方向为主体指向客体；基于所述行为图，对主体行为、不同主体之间关系、不同客体之间关系、行为与行为之间关系，或内网日志之间关系进行挖掘。本发明通过图对内网行为统一进行有效的刻画，能够有效地对不同日志和实体行为之间的关联进行挖掘。

摘要： 本发明属于黑名单技术领域，尤其涉及基于图计算的黑名单关联图谱挖掘方法及系统，其中方法包括：首先获取商业银行的黑名单客户，从图计算平台中挖掘与黑名单客户具有多维度关联关系的目标客户信息，构建黑名单关联图谱；接着根据黑名单关联图谱预测目标客户被黑名单客户传染的风险率；最后根据预测结果实时监测目标客户在行内的风险行为，并形成目标客户风险分析解读报告。本发明能够对黑名单客户的关联图谱进行深度挖掘，进而预测目标客户的风险行为，有效辅助商业银行对企业集群的风险防控工作。

摘要： 本发明涉及基于图挖掘的数据分析领域，公开了一种基于图挖掘的数据分析方法、装置、计算机设备及存储介质，所述方法包括：通过获取当前交易数据并对当前交易数据进行预处理，得到待分析交易数据，待分析交易数据包括至少一个待分析特征数据，将待分析特征数据添加到异常交易分析模型，将待分析特征数据作为待传播节点，异常交易分析模型包括异常交易节点，基于标签传播算法在异常交易分析模型中对待传播节点和异常交易节点进行聚类，得到聚类关系图，根据聚类关系图，确定异常特征数据的关联特征数据，有利于准确识别异常交易数据。

摘要： 本发明公开了一种基于图挖掘的接口分析方法，应用于数据分析领域，用于提高对基于图挖掘的接口分析效率。本发明提供的方法包括：获取统一资源定位符数据集合；从统一资源定位符数据集合中选取出一条统一资源定位符数据作为待处理数据；对待处理数据进行识别，得到链接分隔符；采用链接分割符对待处理符数据进行分割处理，得到接口数据，并从统一资源定位符数据集合中移除待处理数据；将接口数据加入接口集合中，并返回从统一资源定位符数据集合中选取出一条统一资源定位符数据作为待处理数据的步骤继续执行，直到所有统一资源定位符数据选取完毕；基于树模型，对所有接口数据进行分析，得到接口树模型，并对应用接口进行分析，得到分析结果。