一种基于关系型数据库形成Hive数据仓库的方法及系统

摘要

本发明涉及一种基于关系型数据库形成Hive数据仓库的方法及系统，其方法包括以下步骤：将数据源关联到关系型数据库中；在关系型数据库中将数据源中的源数据抽取到Hive中；判断抽取的源数据是否为按天抽取增量的原始数据，若是则在Hive中按日期建立时间分区外部表，每天将关系型数据库中源数据的增量抽取到对应的时间分区外部表中；若不是则将Hive中已有的数据删除，并将关系型数据库中源数据的全量抽取到Hive中形成Hive原始数据外部表；将存储有原始数据增量的时间分区外部表和Hive原始数据外部表组合形成Hive数据仓库。本发明将不同关系型数据库的数据集中到一点，可以按照全量进行操作也可以按照日期进行增量操作，减少人工干预。