基于Spark平台的分布式大数据函数依赖发现方法

摘要

本发明提供一种基于Spark平台的分布式大数据函数依赖发现方法，包括数据分区，包括根据Spark集群各节点分配的CPU内核数对数据进行分区；生成属性集合的所有非空子集，包括通过数据库中的所有属性集合，生成含有所有非空子集的集合，为求解所有属性集合的等价类个数作准备；累加各节点属性集合的等价类数量，通过等价类计算得到全局数据库的(属性集合，等价类数)集合；迭代各属性集合生成函数依赖集合，包括由各属性集合的子集构建候选函数依赖关系，判断函数依赖关系是否成立。该方法解决了分布式环境下函数依赖发现算法的负载不平衡和低效问题，大幅度提高了函数依赖发现的执行效率。