基于商业智能系统的大数据分析平台架构研究

摘要

本文构建一套具有巨量数据分析计算平台架构的商业智能系统,它整合ApacheHive、Cloudera Impala、BDAS Spark SQL使平台支持SQL命令的巨量数据检索能力。大数据环境要求高性能的运算,系统优化成为首要问题。因此本文所设计的最优程序通过存取单一接口后,由程序自动选择执行性能最佳的巨量数据仓储平台执行工作。再则运用Memcached分布式内存存储系统以及Apache HDFS分布式文件系统对查询结果进行快取,因此输入相同的SQL查询则会经由高性能的快取系统取得检索结果,避免重复执行巨量数据仓储平台所导致冗长的检索时间。