基于快速Spark人工智能架构的大数据挖掘算法

摘要

针对当前大数据背景下数据挖掘中存在的递归效率低,挖掘冗余度高以及周期过于频繁等难题,提出了一种基于快速spark人工智能架构的大数据信息挖掘算法.首先,通过大数据统计的方式,获取数据智能spark分布的基础上,设计了一种基于事物垂直管辖维度综合控制机制的纵向序列,提高了挖掘过程中的递归效率;随后采取spark动态行为挖掘机制,构建了挖掘模式集,能够在最短时间内生成用户行为树,有效降低了挖掘过程中的冗余度;并将在挖掘过程中将用户行为树及数据集合数进行一一映射,进一步降低因过于频繁而导致的周期收敛困难的问题.仿真实验表明,所提算法对挖掘过程中的数据准确度更高,且挖掘时间要显著低于对照组算法,具有很强的实践价值.