MongoDB到HBase的分布式高容错数据实时同步方法

摘要

本发明公开了一种MongoDB到HBase的分布式高容错数据实时同步方法，包括：开启MongoDB的oplog操作日志记录功能；生产者将MongoDB中oplog的检查点之后的记录读取出来，将各条oplog推送到Kafka的预定主题，同时写入Redis；oplog进入Storm后，判断该条oplog的操作类型，针对涉及数据同步的操作类型，获取适合HBase存储的键‑值以及数据定位信息，或者仅获取数据定位信息；HBase writer接受传来的键‑值及数据定位信息，进行相应处理。本发明高效地进行从MongoDB到HBase数据实时同步，保证数据同步的准确性，能够满足业务系统复杂的数据实时同步要求。