一种基于Binlog+HBase+Hive的大数据同步方法和装置

摘要

本发明涉及数据库技术领域，提供了一种基于Binlog+HBase+Hive的大数据同步方法和装置。方法包括监听关系型数据库中Binlog日志文件，获取实时变化的数据；数据同步装置获取Binlog日志文件数据后，解析并获取数据库名，表名，操作类型，主键，所有字段值；在HBase中存储Binlog日志文件数据时，对应以数据库名称作为HBase表的命名空间，建表；使用主键作为HBase数据记录的rowkey，以便于数据库记录的所有变化，都通过rowkey找到HBase的对应记录进行数据覆盖更新。本发明实时表中不保留历史全量数据，数据量小，查询实时数据速度快。