一种基于远程日志备份的 HBase 数据可用性及持久性的方法

摘要

本发明公开了一种基于远程日志备份的HBase数据可用性及持久性的方法，HBase的数据节点写入时，首先通过分布式系统封装日志记录，并通过网络把日志备份到预先指定的远程节点，保证数据的可用性和持久性，并以此为基础，把大量用户数据和日志记录暂存在内存中，减少数据处理过程中的数据持久化进程；当HBase的数据节点处于空闲的时候，主动把内存中的数据持久化到文件系统，减轻内存存储压力，减少写操作过程中发生持久化进程的频率，提高数据写入的时间性能。这种基于远程日志备份的HBase数据可用性及持久性的方法保证了数据的可用性、持久性，大大提高数据写入速度、提高系统性能。