FP-Growth

摘要： 大数据给人们带来方便的同时,也带来了安全隐患,保证大数据环境的网络安全已成为当今社会的一个重要课题,尤其是民航空管数据安全。文章针对其查询分析复杂以及大数据量等特点,通过分析大数据环境下的异构网络空管安全监控技术,进一步简化、清洗真实数据,得到核心数据库,进而构建一个可以提供测试环境并能够模拟实际攻击行为的集群实验环境,最终测试并验证大数据环境下异构网络空管安全监控平台的FP-Growth算法的改进,通过MDFP-Growth算法安全事件的关联和分布式序列图的模式等方式进行网络安全空管监控的整体态势分析,进一步加强异构网络空管大数据安全管理,也为相关民航企业分析提供大数据环境下隐含规律提高参考模型。

摘要： 入侵检测是一种主动防御网络中攻击行为的技术,在网络管理方面起着至关重要的作用,而传统的入侵检测技术无法识别未知攻击,也是长期困扰本领域的难题。针对未知类型的入侵攻击,提出了K-Means与FP-Growth算法相结合的未知攻击识别模型,以实现对未知攻击的规则进行提取。首先,对于多种未知攻击混合的数据,根据样本间的相似性用K-Means进行聚类分析,引入轮廓系数评估聚类的效果,聚类完成之后,同种未知攻击被分到相同的簇中,人工提取未知攻击的特征,对特征数据进行预处理,将连续型特征离散化,然后用FP-Growth算法挖掘未知攻击数据的频繁项集和关联规则,最后对其进行分析,得出该未知攻击的规则,用规则对该类型的未知攻击进行检测,结果表明,所提模型的准确率可达98.74%,优于其他相关模型。

摘要： 为解决西装定制企业中用户定制款式信息未充分利用这一问题,结合关联规则FP-growth算法对多维大型数据集进行挖掘时,存在内存资源消耗较大以及执行效率不高的问题,本文提出一种改进FP-growth融合K-means算法的西装定制搭配挖掘方法,对FP-growth算法从使用哈希表建立项头表、有序FP-tree代替传统FP-tree建树过程和新增不平衡比评价指标3个角度对其进行改进.实验结果表明,与其他关联规则算法对比,改进FP-growth算法的内存资源使用减少了约6.7%、执行效率提高了15%左右;通过人工审核实验结果得出,该算法将挖掘出用户感兴趣且有意义的关联规则,验证该算法提出的可行性.

摘要： 提出一种基于关联规则挖掘算法的5G云网告警分析方案,对机器学习算法FP-Growth进行契合5G云网告警场景的改进和应用,利用现网告警数据展开告警关联分析工作,挖掘网元及云侧告警之间的关联关系,并进行告警压缩和收敛,为5G云网故障分析和定位提供有效帮助。此外,基于实际告警数据对Apriori和FP-Growth算法的性能进行了比较,结果表明,FP-Growth关联规则挖掘算法与Apriori相比效率更高,更适合海量数据场景下的告警关联分析。

摘要： 本文提出一种基于改进模糊FP-Growth的异常检测算法-RFPG算法(Random Frequency Pattern Growth),算法建立2层FP-Tree。第一层基于bagging思想,随机采样生成集合并得到长频繁项集合;第二层将长频繁项集合作为输入,得到模式强关联规则集,再通过相似度计算进行异常检测分类。实验结果显示,本文提出算法的整体异常检测效率与质量良好。

摘要： 提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。

摘要： 卫星导航系统在役考核应用中,关联规则分析作为数据挖掘中一种有效的数据分析处理技术,可以总结内在规律知识,评估历史数据和当前各指标的关联关系。针对卫星导航系统在役考核中影响定位精确度的关联因素过于冗余和复杂的问题,通过Xgboost对12项相关指标重要性进行排序,筛选出与定位精度联系更为密切的指标进行分析。重点从挖掘规则的有效性和时效性两个方面进行对比分析,实验设置最小支持度为0.05,最小置信度为0.8。结果表明,挖掘范围无论是全指标集(全域)还是与定位精度相关程度更高的指标集(精简域),Apriori算法挖掘关联规则数量比FP-Growth算法挖掘的更多,但时效性明显不及。同时发现,在精简域两种算法得到的满足支持度和置信度且以定位精度为结论的规则完全相同,说明了两种方法的可用性和有效性,也从关联规则的角度为卫星导航系统在役考核的定位精度分析提供了参考。

摘要： 为了从大型数据集中找到数据不同属性之间的关系,对糖尿病数据集通过FP-Growth算法及其变体提取关联规则,即CFP-Growth和ICFP-Growth。通过实验,三种算法FP-Growth、CFP-Growth和ICFP-Growth的准确率分别为51.30%,57%和60.5%。结果表明ICFP-Growth比CFP-Growth和FP-Growth更准确。

摘要： 为研究酒醉驾交通事故存在的内部联系,分析交通事故的特征,从某省交通管理部门提取近三年酒醉驾事故数据计1.3万起,分别从时间、空间、人员、车辆、道路、环境、事故等特征对酒醉驾的特点进行分析,并使用FP-growth算法对各个特征之间的关系进行挖掘,从而客观地分析该省的酒醉驾事故成因,以提高该省的交通安全,减少相应的事故发生.

摘要： 随着高速铁路信息化与智能化的发展,移动应用不断涌现,基于服务组合的移动应用开发技术已成为高铁信息服务研究的热点之一.目前,服务组合主要采用静态的服务功能分类组合方法,这种方式未利用大数据挖掘的优势,难以解决服务功能过载的问题.针对此问题,提出一种基于关联规则的探索式服务组合方法,在服务组合中加入上下文信息,利用FP-growth优化算法实现对二维上下文项的挖掘,根据关联规则向用户推荐符合当前应用场景下的服务集合.在高速铁路信息服务组合试验中进行测试和验证,结果表明此方法可有效提高准确率和命中率,对未来的高速铁路移动服务组合技术发展提供了新的解决思路.

摘要： 通过分析分布式拒绝服务(DDoS)攻击的特征,提出了基于数据挖掘技术的网络入侵检测方法来检测DDoS攻击,针对数据挖掘中FP-growth算法不产生候选集的优势,对进行处理及分组后的网络数据进行频繁特征提取,根据DDoS攻击会使网络的流量数据发生变化的特点,来检测是否发生攻击事件.实验结果表明,当发生DDoS攻击后网络数据确实发生了巨大的变化,通过对网络数据的特征提取,完全可以检测出DDoS攻击的发生.

摘要： 通过分析分布式拒绝服务(DDoS)攻击的特征,提出了基于数据挖掘技术的网络入侵检测方法来检测DDoS攻击,针对数据挖掘中FP-growth算法不产生候选集的优势,对进行处理及分组后的网络数据进行频繁特征提取,根据DDoS攻击会使网络的流量数据发生变化的特点,来检测是否发生攻击事件.实验结果表明,当发生DDoS攻击后网络数据确实发生了巨大的变化,通过对网络数据的特征提取,完全可以检测出DDoS攻击的发生.

摘要： 通过分析分布式拒绝服务(DDoS)攻击的特征,提出了基于数据挖掘技术的网络入侵检测方法来检测DDoS攻击,针对数据挖掘中FP-growth算法不产生候选集的优势,对进行处理及分组后的网络数据进行频繁特征提取,根据DDoS攻击会使网络的流量数据发生变化的特点,来检测是否发生攻击事件.实验结果表明,当发生DDoS攻击后网络数据确实发生了巨大的变化,通过对网络数据的特征提取,完全可以检测出DDoS攻击的发生.

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： FP-growth算法是频繁模式挖掘的主要方法之一,也是目前数据挖掘研究中的热点.本文针对该算法所需的FP-树占用大量空间且挖掘时递归生成数目庞大的条件FP-子树的缺点,提出了一种基于压缩FP-树结构且无需生成条件FP-子树的挖掘算法CFPM.实验表明,与标准的的FP-grown算法相比,CFPM算法极大地缩小了挖掘所需的空间和时间.同时,该算法还可快速挖掘出特定内容和长度的频繁项集.

摘要： 本发明公开了一种基于KMeans‑FPgrowth算法的矿用卡车发动机故障预警方法，包括：步骤一：采集发动机相关特征历史数据，并基于K‑Means聚类算法对各个特征进行聚类，基于轮廓系数找到最佳聚类个数；步骤二：对聚类后的特征及聚类区间进行编号；步骤三：基于FP‑growth关联规则算法对编号后的特征进行规则提取，设定覆盖率，基于覆盖率对FP‑growth算法的支持度和置信度进行调整，提取出最终的规则；步骤四：采集发动机相关特征实时数据，设置滑动窗口，当窗口内的覆盖率率小于设定值时，发起发动机故障预警。本发明根据相关参数预测出实时缸温与实际缸温进行对比，提前发现缸温异常，减少设备维修成本。

摘要： FpGrowth算法是不产生候选集的关联规则挖掘算法，具有广泛的实际应用价值。为此对经典FpGrowth算法的FP‑tree的结构和挖掘过程进行了深入分析和研究，分析了FP‑tree单路径和多路径的挖掘方法，提出了一个剪枝策略，在频繁模式挖掘时可以减少部分分支的迭代次数。实验结果验证提出的剪枝策略有效地改进了算法，并提高了FpGrowth算法对数据的处理能力和效率。