面向数据中心的多源异构数据统一访问框架

摘要

数据中心中的多源异构数据的统一访问与融合处理是大数据分析处理的核心需求之一.分析了数据中心中的数据分类、存储方式与访问方式;面向主流数据处理技术,提出了面向数据中心的存储参考架构;提出并实现了基于参考架构的多源异构数据统一访问框架,该框架在任务调度上,采用两级调度机制;给出了框架执行流程,并分析了核心组件;结合框架部署应用,分析了框架实现的关键技术;针对数据浏览、精确查询和全表统计等场景,对比了框架与Hive的性能.