复杂属性环境非关系型分布式大数据挖掘仿真

摘要

对复杂属性环境的数据识别有利于充分挖掘大数据包含的信息与价值,提出一种非关系型分布式大数据挖掘算法.首先,引入分布式的最大频繁项算法模型,在物理分散逻辑下,对非关系型数据应用分布式方法进行数据分析,利用建立候选频繁项的搜索条件降低数据检测次数,并采取划分投影法,计算各频繁项对应的分区编号,将其规划到不同的分区中,从而优化冗余频繁项,然后针对数据库中大数据的数据特征建立各个属性的关联度,根据Boosting聚类方法,把由弱聚类得到的局部模型在每次迭代过程中升级为全局模型,再对其进行区块划分,并利用划分质量重新调整迭代采样率,最终得到聚类结果,完成数据挖掘.通过仿真验证了非关系型分布式大数据挖掘具有显著的准确性、稳定性和实用性.