大数据环境下基于Hbase的分布式查询优化研究

摘要

大数据环境下数据库所存储的数据量呈爆炸式增长，如何保持高吞吐率并让客户得到满意的数据查询和处理结果，已经成为一个急需解决的问题。金融、电信以及互联网等行业要求企业的统计分析平台能支持分布式、高可用性和可扩展性的分布式查询环境，以便能及时高效的完成查询分析任务，做出更合理的业务决策。目前已经有很多公司在一定范围内将应用从关系数据库向Hbase进行迁移，但是大多数都是和Hadoop MapReduce或Hive结合使用，导致数据量增加后的分布式查询耗时过长，性能也随之下降。此外Hbase也有其自身的局限性，不能兼容传统数据库上的SQL应用。本文在分析了现有分布式数据库系统平台并深入研究Hbase的实现原理及高级特性的基础上，提出了基于Hbase的可扩展性查询优化方案（Hbase DSPE），即把Hbase的优点和SQL的易用性结合。这样做有助于对复杂SQL查询的优化，可以充分利用Hbase的诸多高级特性进行查询性能调优，对企业在大数据环境下从传统关系数据库向大数据平台的迁移具有现实的指导意义。