基于位图技术创建HBASE二级索引的实践

摘要

为了提高在HBASE中查询海量数据的效率,很多厂商提出了使用二级索引方式以提高查询效率的方案.传统HBASE二级索引方式存在占用资源大、管理维护成本高、复杂查询条件覆盖不全的问题,为解决以上问题,文章提出一种使用位图索引技术构建KEY-VALUE二级索引的方式,即以HBASE数据主属性(手机号码、身份证号码以及账户ID)作为KEY,以其他属性作为位图VALUE属性.采用此方式构建的HBASE二级索引,在兼顾HBASE查询效率的同时,极大减少了存储二级索引数据所占用的资源,对单一位图表的管理维护成本极低(允许小范围数据偏差),且可以覆盖全部查询场景的所有条件.