一种建立用于大数据分析的中间数据仓库的方法及系统

摘要

本发明公开了一种建立用于大数据分析的中间数据仓库的方法，其特征在于，所述方法包括：将所有历史数据加载到HBase表中，针对数据会有更新和大数据平台数据不可变更原则，使用HBase数据仓库记录发生变化的记录数据；根据需要进行关联查询的字段和有效字段选择HBase表中的最新记录数据作为待存储的记录数据；根据待存储的记录数据在中间数据仓库中创建Hive表，并将所述待存储的记录数据存储到Hive表中；以及利用Hive表进行Spark关联查询。本发明的有益效果在于：本发明使用了HBase表和Hive表的优势，在大数据平台数据不可变的情况下，使用可以动态变化的HBase表存储大量的需变化的数据，Hive表获取HBase表的最新数据作为关联查询的表，提高大数据平台处理数据的速度。