频繁项集挖掘

摘要： 针对大数据环境下并行MRPrePost频繁项集挖掘算法中存在计算节点负载不均衡,N-list合并效率低以及冗余搜索等问题,提出了基于N-list结构的混合并行频繁项集挖掘算法HP-FIMBN。首先,设计负载量估计函数(LE)来计算出频繁1项集F-list中每一项的负载量,同时提出基于贪心策略的分组方法(GM-GS)将F-list中的每一项根据其负载量进行均匀分组,既解决了数据划分中计算节点负载不均衡的问题,又降低了集群中各节点上子PPC-Tree树的规模;其次,提出预先放弃策略(EAS),该策略不仅能有效避免合并过程中的无效计算,而且不需要遍历初始N-list结构就能得到最终的N-list,极大地提高了N-list结构的合并效率;最后,采用集合枚举树作为搜索空间,并提出超集等价剪枝策略(SES)来避免挖掘过程中的冗余搜索,生成最终的挖掘结果。实验结果表明,该算法在大数据环境下进行频繁项集挖掘具有较好的效果。

摘要： 进口轻工消费品的货值金额快速增长,类别与数量也大幅增加,快速准确完成现场涉税监管,对一线人员是个挑战。借鉴关联规则在其他领域的应用,提出了一种进口轻工消费品涉税检验数据挖掘方法。首先,从税则归类、检验方式和检验时间三个维度对进口轻工消费品涉税检验数据进行概念分层,并作为扩展信息加入到原始数据中;其次,对进口轻工消费品涉税检验数据中的多值型信息项进行多值映射,转化为多个布尔型信息项;最后,结合多值映射后同类信息项不能同时出现的特点,改进Apriori算法挖掘关联规则。对某海关进口轻工消费品涉税检验数据的挖掘结果表明,所提方法能够发现强关联的信息项,可为一线人员提供重点关注清单,辅助提升现场监管效率。

摘要： 本地差分隐私(LDP)频率估计是数据挖掘领域的一个重要组成部分,目的是在满足LDP的前提下计算特定数据项出现的频率.在基于云服务的应用中,LDP频率估计实现了数据采集过程与数据分析过程的隐私保护,可应用于频繁模式挖掘、恶意攻击检测等.但是LDP频率估计存在随机化噪声较多、依赖数据量较大、高维数据分析准确性较低等缺点.介绍LDP频率估计过程及其存在的性能分析问题,详细讨论LDP频率估计算法,主要包括单值频率估计方法、泛化频率估计方法、集合数据频率估计方法,并对下一步研究方向提出建议.

摘要： 针对并行MRPrePost(parallel prepost algorithm based on MapReduce)频繁项集挖掘算法在大数据环境存在运行时间长、内存占用量大和节点负载不均衡的问题,提出一种基于DiffNodeset的并行频繁项集挖掘算法(parallel frequent itemsets mining using DiffNodeset,PFIMD).该算法首先采用一种数据结构DiffNodeset,有效地避免了N-list基数过大的问题;此外提出一种双向比较策略(2-way comparison strategy,T-wcs),以减少两个DiffNod-eset在连接过程中的无效计算,极大地降低了算法时间复杂度;最后考虑到集群负载对并行算法效率的影响,进一步提出了一种基于动态分组的负载均衡策略(load balancing strategy based on dynamic grouping,LBSBDG),该策略通过将频繁1项集F-list中的每项进行均匀分组,降低了集群中每个计算节点上PPC-Tree树的规模,进而减少了先序后序遍历PPC-Tree树所需的时间.实验结果表明,该算法在大数据环境下进行频繁项集挖掘具有较好的效果.

摘要： Fp-growth算法单机运算占用内存大、且耗时耗空间,挖掘大数据集时运算效率差。本文提出了一种基于Fp-growth的面向大数据集的分布式并行关联规则挖掘算法-DFp-growth算法(Distributed Fp-growth)。该算法在确保频繁项集挖掘数目不变的情况下利用数据链表将大数据集分解成多个子集,然后对分解得到的各个数据集子集用分布式并行方式进行挖掘。实验结果表明,数据集很大时,DFp-growth算法的运行速度比Fpgrowth快,而且数据集越大,并行计算节点越多,运算速度越快,分布并行运算的效率越高。但是当计算节点大到一定程度时,运算速度不增反减。

摘要： cqvip:Fp-growth算法单机运算占用内存大、且耗时耗空间,挖掘大数据集时运算效率差。本文提出了一种基于Fp-growth的面向大数据集的分布式并行关联规则挖掘算法-DFp-growth算法(Distributed Fp-growth)。该算法在确保频繁项集挖掘数目不变的情况下利用数据链表将大数据集分解成多个子集,然后对分解得到的各个数据集子集用分布式并行方式进行挖掘。实验结果表明,数据集很大时,DFp-growth算法的运行速度比Fpgrowth快,而且数据集越大,并行计算节点越多,运算速度越快,分布并行运算的效率越高。但是当计算节点大到一定程度时,运算速度不增反减。

摘要： 关联规则挖掘是数据挖掘中的一项重要任务.为了解决挖掘过程中的隐私泄露问题,特别是在给定的隐私保护等级下,如何提高挖掘结果的可用性,提出了一种满足差分隐私的关联规则挖掘算法——TS-ARM,设计一种新的事务分割方法对数据集进行降维,采用双重条件机制对超过长度阈值的事务进行分割,即分割条件为同时满足分割长度阈值和分割支持度阈值.与传统的事务截断方法相比,这种事务分割方法能够在降低查询的敏感度,以及降低所需噪声规模的同时,有效控制了因添加噪声而导致的信息损失.理论分析和实验证明,提出的算法保障了隐私性,并在给定的安全等级要求下,提高了数据挖掘结果的可用性.

摘要： 多数基于FP-growth思想的频繁模式挖掘算法存在建树过程复杂、支持度计算繁琐的问题.针对这些问题,提出一种基于位编码链表(Bitmap-Code List,BC-List)的频繁项集挖掘算法(BC-List Frequent Itemsets Mining,BCLFIM).该算法首先采用基于位图表示的节点编码模型生成位图树(BC-tree),以BC-tree的节点信息作为数据结构通过按位运算来快速获取BC-List的节点集,避免了复杂的交集运算,提高了连接效率;其次通过使用超集等价和支持度计数剪枝策略,缩小了挖掘频繁模式的搜索空间.实验结果证明,该算法相比于FIN算法和DFIN算法具有更快的挖掘速度.

摘要： 频繁项集挖掘是从现实生活中的数据集中抽取隐含知识的重要手段之一.随着数据量的增加,对分布式算法的需求越来越迫切.近年来,已经有一些在Spark平台上进行频繁项集挖掘的工作,例如YAFIM和PFP,然而现有的基于Spark的频繁项集挖掘算法没有充分发挥Spark平台的灵活性和计算性能.本文提出一种基于Spark的两阶段频繁项集挖掘算法,第一阶段挖掘数据块内局部频繁项集,第二阶段对第一阶段的结果进行汇总剪枝并得到全局候选项集,进而通过统计全局候选项集的支持度获得整个数据集的频繁项集。同时，本文还针对两阶段挖掘算法进行了负载均衡和有关最小支持度的优化。实验结果表明该算法具有相对于现有分布式算法具有更好的执行效率，同时所做的优化对效率的提升也有很大的帮助。

摘要： 针对在交易数据库中挖掘出指定顾客相关属性的频繁项集这一问题。提出了基于维约束进行求解的构想。采用模式增长的挖掘方法,但与传统的模式树不同的是将原先每一节点频繁计数值设为在所有可能的谓词约束下该项的计数形成的向量,并利用HASH表进行向量值及项所在层的位置映射,因此,在不同的约束组合下的频繁项集挖掘将不再需要扫描数据库。仿真实验表明该挖掘算法的完备性,通过与先筛选再挖掘的算法进行比较,证明该挖掘算法具有更高的效率。

摘要： 频繁项集挖掘(Frequent Itemset Mining,FIM)是最重要的数据挖掘任务之一,被挖掘数据集的特征对FIM算法的性能有着显著影响.在大数据时代,稀疏是大数据的典型特征之一,对传统FIM算法的性能带来严峻挑战.针对在稀疏数据中如何高效进行FIM的问题,本文从稀疏数据的特征出发,分析了稀疏数据对三种类型FIM算法性能的主要影响,对已经提出的稀疏数据FIM算法进行了综述,对算法中采用的优化策略进行了讨论,最后通过实验对代表性的稀疏数据FIM算法进行了性能分析.实验结果表明,采用伪构造策略的模式增长算法最适合用于稀疏数据的FIM,该算法在运算时间和存储空间上比其他算法具有较大的优势.

摘要： 数据流中的数据分布随着时间动态变化,但传统基于事务的滑动窗口模型难以体现该特征,因此挖掘结果并不精确.首先提出时间敏感数据流处理中存在的问题,然后建立基于时间戳的滑动窗口模型,并转换为基于事务的可变滑动窗口进行处理,提出了频繁项集的挖掘算法FIMoTS.该算法引入了类型变化界限的概念,将项集进行动态分类,根据滑动窗口大小的变化对项集进行延迟处理,仅当项集的类型变化界限超出一定阈值的时候才进行支持度的重新计算,能够达到剪枝的目的.在4种不同密度的数据集上完成的实验结果显示,该算法能够在保证内存开销基本不变的情况下显著提高计算效率.

摘要： 近来许多应用领域如股票数据、网络流量监控,点击流、传感器网络、电话记录等领域中需要处理数据流问题,所以数据流的问题越来越引起人们的关注.而频繁模式的发现通常又是其他挖掘问题如关联规则发现、序列模式发现等其他挖掘问题的基础,在现有的频繁模式挖掘算法中,一个主要的缺陷就是当支持度减小或者单项集(distinct item)的数目增多时内存的要求将很大,有些甚至呈指数增长,这样就限制了算法的进一步应用.在本文中,我们提出了一种新的方法来发现数据流中的频繁项集,针对数据流环境中挖掘频繁项集存在的一些问题,我们的工作主要有如下几个方面:1)解决了在有限内存中挖掘频繁项集的问题,并且在当支持度非常低或者单项集(distinct itemset)非常多的情况下对内存的使用也达到了一个非常合理的数量.2)我们设计的算法在理论上和实践中都证明是非常精确的,在任何时候,精确度都达到了100％,然而其他的频繁挖掘算法如Jin和Agrawal提出的In-core算法,(该算法是到目前为止最精确的算法),也只是在少数情况下精确度达到100％并且当ε增大时,精确度随之下降.3)我们设计了一个新的数据结构(F1FET)并且提出了一种新的维护方法.最后的实验结果也表明我们的算法较之于其他方法在节省内存方面和准确性方面都有较大的优越性。

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： 分面导航是用户基于多维分类目录检索和浏览资源的主要方式之一。通过推荐与当前搜索结果相关的类别，帮助用户理解搜索结果，并有效避免查询结果为空。然而，目前的分面导航难以分析所推荐类别之间的深层语义。本文提出了一种层次概念格作为资源集的本体，它完整并简洁地描述查询结果间的包含关系。在此基础上，我们设计了一系列导航操作帮助用户基于层次概念格进行知识发现。为满足导航操作的实时性，我们提出了格挖掘算法LMiner。它以自顶向下和深度优先方式遍历生成格；通过倒排索引当前已生成的极小节点，进行高效的节点冗余检查和边的增量计算。实验结果表明，LMiner的速度远快于现有算法，而索引却小得多。

摘要： 分面导航是用户基于多维分类目录检索和浏览资源的主要方式之一。通过推荐与当前搜索结果相关的类别，帮助用户理解搜索结果，并有效避免查询结果为空。然而，目前的分面导航难以分析所推荐类别之间的深层语义。本文提出了一种层次概念格作为资源集的本体，它完整并简洁地描述查询结果间的包含关系。在此基础上，我们设计了一系列导航操作帮助用户基于层次概念格进行知识发现。为满足导航操作的实时性，我们提出了格挖掘算法LMiner。它以自顶向下和深度优先方式遍历生成格；通过倒排索引当前已生成的极小节点，进行高效的节点冗余检查和边的增量计算。实验结果表明，LMiner的速度远快于现有算法，而索引却小得多。

摘要： 分面导航是用户基于多维分类目录检索和浏览资源的主要方式之一。通过推荐与当前搜索结果相关的类别，帮助用户理解搜索结果，并有效避免查询结果为空。然而，目前的分面导航难以分析所推荐类别之间的深层语义。本文提出了一种层次概念格作为资源集的本体，它完整并简洁地描述查询结果间的包含关系。在此基础上，我们设计了一系列导航操作帮助用户基于层次概念格进行知识发现。为满足导航操作的实时性，我们提出了格挖掘算法LMiner。它以自顶向下和深度优先方式遍历生成格；通过倒排索引当前已生成的极小节点，进行高效的节点冗余检查和边的增量计算。实验结果表明，LMiner的速度远快于现有算法，而索引却小得多。

摘要： 分面导航是用户基于多维分类目录检索和浏览资源的主要方式之一。通过推荐与当前搜索结果相关的类别，帮助用户理解搜索结果，并有效避免查询结果为空。然而，目前的分面导航难以分析所推荐类别之间的深层语义。本文提出了一种层次概念格作为资源集的本体，它完整并简洁地描述查询结果间的包含关系。在此基础上，我们设计了一系列导航操作帮助用户基于层次概念格进行知识发现。为满足导航操作的实时性，我们提出了格挖掘算法LMiner。它以自顶向下和深度优先方式遍历生成格；通过倒排索引当前已生成的极小节点，进行高效的节点冗余检查和边的增量计算。实验结果表明，LMiner的速度远快于现有算法，而索引却小得多。

摘要： 本发明提出一种关联规则挖掘中查找频繁项集的改进算法。通过用上三角矩阵存储数据库的方式，使得整个算法对数据库只进行一次扫描操作，然后利用二进制编码之间的“与”运算获取项集的事务支持度，同时增加了非频繁项集的记录表，对候选项集进行提前剪枝，大大提高了算法的效率。

摘要： 本发明属于数据处理分析领域，具体涉及一种基于滑动窗口的频繁项集并行增量挖掘的方法，针对现有并行增量挖掘方法在大数据环境下运行效率低的问题。本发明的主要实现步骤为：数据集获取与预处理；数据集划分为多块增量数据集；挖掘单批次数据集的频繁项集和准频繁项集；若当前窗口中存在前批次数据集，则将当前批次数据集的挖掘结果与前批次的挖掘结果合并更新；否则，进入持久化当前窗口中增量更新后的频繁项集和准频繁项集并输出频繁项集；如此，继续输入增量数据集，循环上述增量挖掘步骤。本发明通过引入滑动窗口等技术，加快了判定是否为频繁项集的速度，结合Spark并行计算和Hadoop分布式存储，使得该发明具有良好的挖掘效率。

摘要： 本发明公开了一种基于频繁模式树的本地化差分隐私保护的频繁项集挖掘方法，是应用于一个不可信第三方数据聚合者A和n位用户构成场景中，其步骤包括：S1、初始化阶段；S2、数据剪枝阶段；S3、建树阶段；S4、数据挖掘阶段。本发明能在第三方数据聚合者A不持有任何用户隐私记录信息情况下，估计满足给定支持度阈值的所有频繁项集以及相应的支持度，从而保证第三方能够根据所得结果挖掘出有用的关联规则，为可能的决策提供支持。

摘要： 本发明适用信息技术领域，提供了一种大规模数据集的频繁项集挖掘方法、装置、设备及介质，该方法包括：估算样本容量，从大规模数据集中采集样本容量大小的样本数据集，挖掘样本数据集中的闭频繁项集并计算大规模数据集对应的最大长度约束，以生成大规模数据集对应的缩减数据集，通过缩减数据集构建大规模数据集的噪声FP‑Tree，将隐私预算平均分配给噪声FP‑Tree的每一层，通过噪声FP‑Tree和噪音阈值选出候选集合，通过几何机制噪音增加候选集合的隐私保护，再从候选集合中选出预预设数量个频繁项集，从而减小了大规模数据集频繁项集挖掘的计算强度，保证了数据挖掘的隐私性，同时降低了全局敏感度、提高了数据和挖掘结果的可用性。

摘要： 本发明公开了一种面向差分隐私保护的频繁项集挖掘方法，包括以下步骤：计算出所有项集的支持度，从中挑选出频繁项集；统计数据集中各条事务的长度，计算出截断长度L后截断数据集；计算频繁项集包含项的个数上限m和频繁项个数λ，根据λ值构造频繁项组成的集合F；构造最大频繁项集MFI集合B及候选项集集合C；使用集合B对集合C中的项集进行加噪；使用初始MFI集合B计算得到各个候选项集的支持度之后，计算与真实支持度的误差之和E；在B中搜索B、B，用B取代B并且更新误差和E的值；当误差和不再减小时停止迭代并输出结果。本发明可以很好地防止发布频繁项集会造成的个人隐私泄露，同时截断数据集的操作也有效地提高了挖掘结果的可用性。

摘要： 本发明公开了一种基于频繁模式树的本地化差分隐私保护的频繁项集挖掘方法，是应用于一个不可信第三方数据聚合者A和n位用户构成场景中，其步骤包括：S1、初始化阶段；S2、数据剪枝阶段；S3、建树阶段；S4、数据挖掘阶段。本发明能在第三方数据聚合者A不持有任何用户隐私记录信息情况下，估计满足给定支持度阈值的所有频繁项集以及相应的支持度，从而保证第三方能够根据所得结果挖掘出有用的关联规则，为可能的决策提供支持。

摘要： 本发明公开了一种数据集频繁项集挖掘可用性评估方法，所述方法包括步骤：(1)设C＝{I1,I2,…,In}是项的集合，给定事务数据集D1和D2，其中每个事务T是一个非空项集,使得对D1、D2利用Apriori算法挖掘得到最大频繁项集集合,记为FIS1、FIS2；(2)将FIS1任一项集MIS1与FIS2的任一项集MIS2通过项集匹配算法F进行匹配，得到配对项集表Pairs,Pairs由项集对组成，score1表示MIS1、MIS2的项目相似度，在匹配过程中计算得到。(3)对Pairs中的每一项，计算MIS1,MIS2的支持度相似度score2，进一步计算得到MIS1,MIS2的复合相似度score，更新pair为；(4)将Pairs中的每一项的复合相似度score累加，并除以Pairs中项的个数，得到D1和D2的相似度分数SCORE，且该分数的取值范围为[0,1]。

摘要： 本发明适用信息技术领域，提供了一种大规模数据集的频繁项集挖掘方法、装置、设备及介质，该方法包括：估算样本容量，从大规模数据集中采集样本容量大小的样本数据集，挖掘样本数据集中的闭频繁项集并计算大规模数据集对应的最大长度约束，以生成大规模数据集对应的缩减数据集，通过缩减数据集构建大规模数据集的噪声FP‑Tree，将隐私预算平均分配给噪声FP‑Tree的每一层，通过噪声FP‑Tree和噪音阈值选出候选集合，通过几何机制噪音增加候选集合的隐私保护，再从候选集合中选出预预设数量个频繁项集，从而减小了大规模数据集频繁项集挖掘的计算强度，保证了数据挖掘的隐私性，同时降低了全局敏感度、提高了数据和挖掘结果的可用性。

摘要： 本发明提出了一种基于Spark并行频繁项集挖掘方法，包括以下步骤：S1，通过矩阵存储获取支持度计数矩阵，并提供创建条件FP‑tree的支持度计数查询；然后根据获取的支持度计数，剔除不满足最小支持度的项，得到频繁1项集矩阵；然后通过非负矩阵分解策略SNMF分解储存频繁1项集的矩阵；S2，由S1的频繁1项集矩阵可得频繁1项集F‑list，采用遗传算法的分组策略GS‑GA对S1得到的频繁1项集均匀分组；S3，采用高效缩减树结构策略ERTS合并条件模式基，删除FP‑tree中不满足最大频繁项集的路径；然后并行挖掘分组的FP‑tree，获得频繁项集，并将结果输出到分布式文件系统HDFS中。本发明解决了创建条件FP‑tree的时空效率低，节点间的通信开销大，冗余搜索的问题；在时空效率上和推荐非空率上都有显著的提高。

摘要： 本发明公开了一种基于差分隐私的分布式隐私保护频繁项集挖掘方法及系统，所述方法包括：选择中心节点U