一种基于业务特征优化HIVE中两个大表不等值关联的方法

摘要

HIVE使用类SQL语言大大简化了HDFS上数据管理操作,但是由于其计算引擎基于MapReduce,因此在部分数据操作上存在限制,其中不支持关联操作中的不等值链接条件就是其中一个例子.本文通过对HIVE关联过程的分析,针对HIVE现有计算框架无法直接实现不等值关联,需要通过先关联再筛选的关联方式导致计算量较大的情况,提出结合业务场景和业务目标进行针对性优化,并且结合案例进行分析与性能优化.