频繁集

摘要： 为了提高电力知识文本挖掘的性能,采用FP-Growth算法对影响电力需求的强关联因素进行挖掘,运用广义回归神经网络(General Regression Neural Network,GRNN)算法实现电力需求预测.首先,对待挖掘的电力文本进行指标提取并编码,生成电力文本初始FP-Tree;接着采用FP-Growth算法遍历所有FP-Tree,生成频繁集,过滤掉小于最小支持度的项,留下频数较高的频繁项;然后根据更新后的FP-Tree统计关联项,选择与总用电量增长率关联强的变量生成训练样本;最后采用GRNN算法对电力需求文本进行训练,输入电力需求预测样本,设置平滑因子,通过模式层的输出和加权求和来获得电力需求预测结果.实验结果证明,通过合理设置最小支持度和GRNN的平滑因子,能够获得较好的电力文本挖掘性能,与常用挖掘算法相比,所提算法能够获得更高的电力需求预测准确率.

摘要： 针对基于Spark框架的关联规则算法存在I/O开销大、数据结构和挖掘频繁集方式单一、计算支持度的方式效率低等问题,提出基于SparkSql进行分布式编程的算法.将数据集加载到DataFrame,利用改进后的布隆过滤器高效存储频繁集挖掘过程中产生的项集,解决RDD内存资源和计算速度受限问题.基于先验定理对事务、项目和项集进行精简,同时提出用Sql语句对项集中项目对应事务集合求交集的方式计算项集支持度,提高计算支持度的效率.提出了两种迭代算法和自适应数据的选择条件,增强该算法对各种数据集的泛化性.进行多组实验,证明提出的算法总是自适应本次迭代数据的特点选择最优的迭代方法,同时具有较高并行算法性能,可以扩展到更大规模集群和数据;同基于Spark框架的关联规则算法YAFIM和R-Apriori进行对比,在每次迭代和总体运行计算效率上有更好的表现.

摘要： 为了提高关联规则挖掘效率,文中提出了一种适用于 Spark平台的并行化 FP_growth关联规则挖掘方法.首先,利用Spark平台在分布式系统中的所有节点的内存 RDD中完成遍历扫描运算,得到频繁集,以便生成 FP_Table 并更新 FP_Tree.然后,引入时间序列来预测待挖掘的项目集,以便实现分布式系统中的所有节点能够均衡分担挖掘任务,从而充分利用各节点的 FP_Tree遍历功能,获取 FP_growth关联规则挖掘结果.实验结果显示,相比单机情况,并行化 FP_growth关联规则挖掘在效率方面提高了约 60%.经过负载均衡处理后的 FP_growth关联规则挖掘的效率更高,提高了约 14%,这说明各节点遍历任务的分配更均衡,并行化程度更高.

摘要： 为及时从海量微博信息中迅捷有效提取出微博热点话题、事件,提出基于频繁集的聚类SSDKmeans算法,在有限空间下统计分词的近似频数,并在此基础上构建文本向量空间模型,在聚类生成的每个话题簇中提炼话题关键词.通过对2万条微博数据进行有效性验证,结果表明,基于SSDKmeans算法的话题发现有较高的召回率和精准率,分别为91.3％、92.1％.SSDKmeans算法能够有效提高微博热点话题发现率,进而及时了解社会热点话题与舆论趋势.

摘要： 为及时从海量微博信息中迅捷有效提取出微博热点话题、事件,提出基于频繁集的聚类SSDKmeans算法,在有限空间下统计分词的近似频数,并在此基础上构建文本向量空间模型,在聚类生成的每个话题簇中提炼话题关键词。通过对2万条微博数据进行有效性验证,结果表明,基于SSDKmeans算法的话题发现有较高的召回率和精准率,分别为91.3%、92.1%。SSDKmeans算法能够有效提高微博热点话题发现率,进而及时了解社会热点话题与舆论趋势。

摘要： The Apriori algorithm has two major problems during computing the 2-frequent-itemsets:too many invalid candidate item sets and too much redundant scanning process.For solving this problem,this paper puts forward an improved algorithm called LZ-Apriori.It can improve the time complex effectively in computing the 2-frequent-itemsets and accelerate the whole process.It applies the algorithm to find out the association rules of stocks in shanghai and Shenzhen stock markets.The result proved that,compared to the origin Apriori,the LZ-Apriori showed better performance.%针对原始Apriori算法在计算二项频繁集时产生大量无效的候选集,以及对候选集进行了冗余的扫描这两个问题,文中提出一种改进算法LZ-Apriori,能够大大提升Apriori算法在计算二项频繁集过程中的时间效率,进而加速整个运算过程.将新算法运用到沪深股市板块联动的规则挖掘中,证实了新的算法具有良好的改进效果.

摘要： 在研究和分析Apriori关联规则算法缺陷的基础上,设计了一种效率更高的基于位向量的矩阵关联规则算法,通过实验验证了其可行性和有效性,并把该算法应用到教学评价中,挖掘出影响教学质量的相关因素,从而为学校改进教学管理工作提供客观有效的决策分析方法.

摘要： To detect car’s accompany vehicle in mass vehicle driving data, this paper analyzes the features of ac-company vehicle and principles of association rules mining. Finally, an algorithm based on frequent itemset is proposed in this paper. Support and time threshold of frequent itemset is set up to realize the process from single-itemset to multi-itemset with analysis car’s driving features on the road. The stream data is considered and a method is come up to solve the problem of new data in detecting accompany vehicle. Eventually, the result of the given car’s accompany ve-hicle can be detected quickly in mass data. Through the experiments, the proposed algorithm can get the accompany vehicle’s information quickly and right.%为从海量机动车行驶数据中找出车辆的伴随车辆信息，本文依据伴随车辆的行为特点及关联挖掘原理提出了一种基于频繁项集的伴随车辆检测算法。通过分析伴随车辆的行驶特点，设定频繁项集的支持度和时间阈值，实现了从单项集到多项集的迭代过程。利用流数据处理方法，添加了针对伴随车辆检测的流数据处理方法，最终使算法可以快速的在海量数据中检测到车辆的伴随车辆信息。经实验验证，本算法可以快速正确的检测出车辆的伴随车辆信息。

摘要： 针对FUP算法在频繁集增量更新时,剪枝效率低下以及候选集验证速度慢的缺陷,提出了基于支持矩阵的频繁集增量更新的高效挖掘算法—SMFUP算法.该算法不仅采用支持矩阵进行整体剪枝来提高剪枝效率,而且进一步结合频繁2项集矩阵加快候选频繁集的验证速度,从而使算法的增量更新效率大大提高.最后通过实验证明了算法改进的有效性.

摘要： 针对用户历史检索过程产生的Web日志文件,研究其查询词和点击链接是否为频繁集,以及在分布式条件下频繁集挖掘的效率问题.基于Hadoop框架,设计了并行Fp-growth算法,对搜索引擎Web日志进行挖掘.仿真实验结果显示,满足支持度的查询词和点击链接频繁集在Web日志中普遍存在.随着Hadoop节点数的增加,并行Fp-growth算法性能将得到大幅提高.由此,频繁集挖掘效率得到明显提高,且数据量越大,效率提升越明显.

摘要： 本文在整合已有的网络安全和数据挖掘技术的基础上,加以改进和优化,基于频繁集查找的思路研究了未知协议特征序列提取和帧切分的方法,并截获IEEE802.11b无线通信比特流数据进行了实验,验证了该方法的可行性和有效性。

摘要： 关联规则挖掘是数据挖掘一个重要的研究方向。目前大多数的算法集中于提高挖掘事务频繁集的效率,研究对象是传统的事务数据库,并且事务中的项被认为是确定精确的.然而,在现实世界中普遍存在着不确定数据.为了解决这个问题,提出了一个基于树的挖掘频繁集算法,该算法可以高效处理不确定数据集,数据集的特点是每个事务属性都伴随一个通过相似度计算得到的概率值.

摘要： 网络通信技术的发展,大量流式数据的应用呈现在面前。目前,数据流处理已应用在很多领域。针对数据流的挖掘尤为重要。首先将流数据与传统数据进行比较,然后对数据流的聚类分析,频繁集挖掘作了介绍。

摘要： 在分析了原有的支持度--可信度框架不足的基础上，本文介绍了一种新的兴趣度度量:完全可信度、联结度，同时证明了完全可信度和联结度具有的一些性质，然后在划分算法的基础上，提出并实现了基于完全可信度/联结度的频繁集挖掘算法。应用在人工数据集和事实数据集上的性能分析说明利用完全可信度、联结度可以有效地发现频繁集(尽管结果有差别)，实验结果和证明得到的性质一致，利用联结度和完全可信度，可以发现支持度和可信度较小的可能有趣模式.

摘要： 关联规则挖掘是数据挖掘研究中一个非常重要的研究领域,如何有效地发现交易中的频繁项集是关联规则挖掘的核心.该文利用有向项集图(Directed Itemsets Graph,DISG)来存储有关概念格的信息,提出了利用深度优先的策略进行搜索的频繁项集挖掘算法DBDG(DFS Based-DISG).该算法将概念格的构建与频繁项集的发现结合起来,有效地降低了概念格算法的复杂性.最后分析了算法在时间和空间上的复杂度并以mushroom数据库为例进行了试验.试验结果证明算法对于处理稠密集数据是有效的.

摘要： 关联规则挖掘是数据挖掘研究中一个非常重要的研究领域,如何有效地发现交易中的频繁项集是关联规则挖掘的核心.该文利用有向项集图(Directed Itemsets Graph,DISG)来存储有关概念格的信息,提出了利用深度优先的策略进行搜索的频繁项集挖掘算法DBDG(DFS Based-DISG).该算法将概念格的构建与频繁项集的发现结合起来,有效地降低了概念格算法的复杂性.最后分析了算法在时间和空间上的复杂度并以mushroom数据库为例进行了试验.试验结果证明算法对于处理稠密集数据是有效的.

摘要： 关联规则挖掘是数据挖掘研究中一个非常重要的研究领域,如何有效地发现交易中的频繁项集是关联规则挖掘的核心.该文利用有向项集图(Directed Itemsets Graph,DISG)来存储有关概念格的信息,提出了利用深度优先的策略进行搜索的频繁项集挖掘算法DBDG(DFS Based-DISG).该算法将概念格的构建与频繁项集的发现结合起来,有效地降低了概念格算法的复杂性.最后分析了算法在时间和空间上的复杂度并以mushroom数据库为例进行了试验.试验结果证明算法对于处理稠密集数据是有效的.

摘要： 关联规则挖掘是数据挖掘研究中一个非常重要的研究领域,如何有效地发现交易中的频繁项集是关联规则挖掘的核心.该文利用有向项集图(Directed Itemsets Graph,DISG)来存储有关概念格的信息,提出了利用深度优先的策略进行搜索的频繁项集挖掘算法DBDG(DFS Based-DISG).该算法将概念格的构建与频繁项集的发现结合起来,有效地降低了概念格算法的复杂性.最后分析了算法在时间和空间上的复杂度并以mushroom数据库为例进行了试验.试验结果证明算法对于处理稠密集数据是有效的.

摘要： 关联规则挖掘是数据挖掘研究中一个非常重要的研究领域,如何有效地发现交易中的频繁项集是关联规则挖掘的核心.该文利用有向项集图(Directed Itemsets Graph,DISG)来存储有关概念格的信息,提出了利用深度优先的策略进行搜索的频繁项集挖掘算法DBDG(DFS Based-DISG).该算法将概念格的构建与频繁项集的发现结合起来,有效地降低了概念格算法的复杂性.最后分析了算法在时间和空间上的复杂度并以mushroom数据库为例进行了试验.试验结果证明算法对于处理稠密集数据是有效的.

摘要： Apriori算法是数据挖掘的一种基本算法,本文分析了关联规则挖掘的基本问题,分析和讨论了Apriori算法,然后利用该算法在电信声讯业务数据库的基础上进行了数据之间关系的分析,得出了一些实用的规则

摘要： 本发明公开了一种基于频繁模式树的本地化差分隐私保护的频繁项集挖掘方法，是应用于一个不可信第三方数据聚合者A和n位用户构成场景中，其步骤包括：S1、初始化阶段；S2、数据剪枝阶段；S3、建树阶段；S4、数据挖掘阶段。本发明能在第三方数据聚合者A不持有任何用户隐私记录信息情况下，估计满足给定支持度阈值的所有频繁项集以及相应的支持度，从而保证第三方能够根据所得结果挖掘出有用的关联规则，为可能的决策提供支持。

摘要： 本发明适用信息技术领域，提供了一种大规模数据集的频繁项集挖掘方法、装置、设备及介质，该方法包括：估算样本容量，从大规模数据集中采集样本容量大小的样本数据集，挖掘样本数据集中的闭频繁项集并计算大规模数据集对应的最大长度约束，以生成大规模数据集对应的缩减数据集，通过缩减数据集构建大规模数据集的噪声FP‑Tree，将隐私预算平均分配给噪声FP‑Tree的每一层，通过噪声FP‑Tree和噪音阈值选出候选集合，通过几何机制噪音增加候选集合的隐私保护，再从候选集合中选出预预设数量个频繁项集，从而减小了大规模数据集频繁项集挖掘的计算强度，保证了数据挖掘的隐私性，同时降低了全局敏感度、提高了数据和挖掘结果的可用性。

摘要： 本发明公开了一种基于频繁模式树的本地化差分隐私保护的频繁项集挖掘方法，是应用于一个不可信第三方数据聚合者A和n位用户构成场景中，其步骤包括：S1、初始化阶段；S2、数据剪枝阶段；S3、建树阶段；S4、数据挖掘阶段。本发明能在第三方数据聚合者A不持有任何用户隐私记录信息情况下，估计满足给定支持度阈值的所有频繁项集以及相应的支持度，从而保证第三方能够根据所得结果挖掘出有用的关联规则，为可能的决策提供支持。

摘要： 本发明公开了一种数据集频繁项集挖掘可用性评估方法，所述方法包括步骤：(1)设C＝{I1,I2,…,In}是项的集合，给定事务数据集D1和D2，其中每个事务T是一个非空项集,使得对D1、D2利用Apriori算法挖掘得到最大频繁项集集合,记为FIS1、FIS2；(2)将FIS1任一项集MIS1与FIS2的任一项集MIS2通过项集匹配算法F进行匹配，得到配对项集表Pairs,Pairs由项集对组成，score1表示MIS1、MIS2的项目相似度，在匹配过程中计算得到。(3)对Pairs中的每一项，计算MIS1,MIS2的支持度相似度score2，进一步计算得到MIS1,MIS2的复合相似度score，更新pair为；(4)将Pairs中的每一项的复合相似度score累加，并除以Pairs中项的个数，得到D1和D2的相似度分数SCORE，且该分数的取值范围为[0,1]。

摘要： 本发明适用信息技术领域，提供了一种大规模数据集的频繁项集挖掘方法、装置、设备及介质，该方法包括：估算样本容量，从大规模数据集中采集样本容量大小的样本数据集，挖掘样本数据集中的闭频繁项集并计算大规模数据集对应的最大长度约束，以生成大规模数据集对应的缩减数据集，通过缩减数据集构建大规模数据集的噪声FP‑Tree，将隐私预算平均分配给噪声FP‑Tree的每一层，通过噪声FP‑Tree和噪音阈值选出候选集合，通过几何机制噪音增加候选集合的隐私保护，再从候选集合中选出预预设数量个频繁项集，从而减小了大规模数据集频繁项集挖掘的计算强度，保证了数据挖掘的隐私性，同时降低了全局敏感度、提高了数据和挖掘结果的可用性。

摘要： 本发明公开了针对频繁二项集的获取方法、装置、终端设备及存储介质，通过针对数据集合的元素出现的次数持续进行检测计数，若所述元素的出现的次数的计数数值达到预设阈值，则将所述元素计入部分频繁一项集，其中，所述预设阈值为用户根据实际需求设定的最小支持度；根据所述部分频繁一项集针对所述数据集合形成的项对进行筛选；针对经过筛选得到的项对进行哈希运算；根据所述哈希运算的结果与所述预设阈值获取频繁二项集。如此，本发明提供的针对频繁二项集的获取方法，针对PCY‑Multistage算法进行改进，仅在项对符合部分频繁一项集的情况才进行哈希运算，从而在计算频繁二项集时能够减小设备内存消耗，提高用户的使用体验。

摘要： 本发明提出了一种基于Spark并行频繁项集挖掘方法，包括以下步骤：S1，通过矩阵存储获取支持度计数矩阵，并提供创建条件FP‑tree的支持度计数查询；然后根据获取的支持度计数，剔除不满足最小支持度的项，得到频繁1项集矩阵；然后通过非负矩阵分解策略SNMF分解储存频繁1项集的矩阵；S2，由S1的频繁1项集矩阵可得频繁1项集F‑list，采用遗传算法的分组策略GS‑GA对S1得到的频繁1项集均匀分组；S3，采用高效缩减树结构策略ERTS合并条件模式基，删除FP‑tree中不满足最大频繁项集的路径；然后并行挖掘分组的FP‑tree，获得频繁项集，并将结果输出到分布式文件系统HDFS中。本发明解决了创建条件FP‑tree的时空效率低，节点间的通信开销大，冗余搜索的问题；在时空效率上和推荐非空率上都有显著的提高。

摘要： 本发明提出一种关联规则挖掘中查找频繁项集的改进算法。通过用上三角矩阵存储数据库的方式，使得整个算法对数据库只进行一次扫描操作，然后利用二进制编码之间的“与”运算获取项集的事务支持度，同时增加了非频繁项集的记录表，对候选项集进行提前剪枝，大大提高了算法的效率。

摘要： 本发明公开了一种基于差分隐私的分布式隐私保护频繁项集挖掘方法及系统，所述方法包括：选择中心节点U

摘要： 本实用新型公开了一种集热泵防频繁启停装置，所述集热泵防频繁启停装置设于集热泵控制器的集热循环泵出口与集热循环泵之间的电路上，用于使集热循环泵在每次启动后延时停泵。另一方面，本实用新型还提供了一种太阳能集热器，其集热泵控制器的集热循环泵出口与集热循环泵之间的电路上设有上述的集热泵防频繁启停装置。本实用新型提供的集热泵防频繁启停装置及太阳能集热器，可以提高集热效率，同时避免炸管现象的发生；也可以加装于未设有该装置的太阳能集热系统，实用性强，安装方便并且经济性好。