一种消除大数据规范关系连接冗余的优化方法

摘要

本发明通过对二次排序算法进行优化，重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程，使得Map阶段的输出为包含一方关系属性值和多方关系排序值的组合键及包含多方关系属性值的集合，Reduce阶段将组合键进行分解，提取一方关系的主码作为HBase表的行键，并将组合键中一方关系的各个属性值，多方关系属性值集合及排序后的连接结果分别写入HBase表中对应的列，从而既实现了连接的语义，又消除了冗余，由于以HBase表存储连接结果，从而可以利用HBase提供的各类方法进行数据检索，提高了对连接结果的查询效率。