一种提高大数据上并行连接性能的负载平衡方法

摘要

本发明公开了一种提高大数据上并行连接性能的负载平衡方法，包括以下步骤：1）将海量数据按照查询结果初始化划分成数据块；划分后的数据块包括连接属性上符合查询条件的多个参加连接的表数据，并以数据块的方式组织管理；2）记录数据块的访问比率、累积数据块的热度、计算平均访问占比率；3）根据数据块的平均访问占比率对数据块的划分进行自适应调整，根据查询请求的拟合程度来触发数据块的合并、分裂；4）将热数据均匀地分布到集群各节点上，按照热度做查询任务的负载平衡；5）连接查询请求在集群各节点上执行，汇总连接结果并返回客户端。这种方法提高了数据查询的时间效率，实现了连接查询负载的平衡，提高了连接运算的性能。