大数据灾备管理系统及大数据平台灾备方法

摘要

本申请提出一种大数据灾备管理系统和大数据平台灾备方法，该系统包括：相互连接的应用层灾备服务模块、系统层灾备服务模块和数据层灾备服务模块；其中，所述应用层灾备服务模块，用于对大数据平台的应用层进行灾备处理；所述系统层灾备服务模块，用于对大数据平台的系统层进行灾备处理；所述数据层灾备服务模块，用于对大数据平台的数据层进行灾备处理。该系统能够实现对大数据平台的完整而有序的数据灾备。

说明书

技术领域

本申请涉及大数据灾备技术领域，尤其涉及一种大数据灾备管理系统及大数据平台灾备方法。

背景技术

随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。对于大型行业而言，数据完整性及业务连续性是业务需求及监管要求的重要指标，因此，大数据灾备势在必行。

发明内容

基于上述需求，本申请提出一种大数据灾备管理系统和大数据平台灾备方法，能够实现对大数据平台的完整而有序的数据灾备。

一种大数据灾备管理系统，该系统至少包括：

相互连接的应用层灾备服务模块、系统层灾备服务模块和数据层灾备服务模块；

其中，所述应用层灾备服务模块，用于对大数据平台的应用层进行灾备处理；

所述系统层灾备服务模块，用于对大数据平台的系统层进行灾备处理；

所述数据层灾备服务模块，用于对大数据平台的数据层进行灾备处理。

可选的，该系统还包括：

分别与所述应用层灾备服务模块、所述系统层灾备服务模块和所述数据层灾备服务模块连接的灾备通用服务模块；

所述灾备通用服务模块通过调用所述应用层灾备服务模块、所述系统层灾备服务模块和所述数据层灾备服务模块，进行灾备同步任务管理以及灾备功能控制。

可选的，所述应用层灾备服务模块，包括：

数据开发灾备模块，用于进行应用层代码、脚本、依赖包的版本同步灾备与管理；

数据分析与可视化模块，用于进行应用层可视化报表数据的同步灾备，以及模板、权限、配置的同步灾备；

数据服务灾备模块，用于进行应用层自定义包的同步加载，以及系统元数据的同步灾备；

其他应用服务灾备模块，用于对应用层中的、上述各模块未灾备的应用服务进行灾备。

可选的，所述系统层灾备服务模块，包括：

数据管理灾备模块，至少用于对系统层业务、技术的元数据，以及数据标准、数据目录进行同步灾备；

数据采集灾备模块，至少用于对系统层的数据采集配置信息进行同步灾备；

数据集成灾备模块，至少用于对系统层的数据版本进行同步灾备与管理；

数据计算灾备模块，至少用于对系统层的计算队列、基础配置信息进行同步灾备；

智能调度灾备模块，至少用于对系统层的调度流、作业配置进行同步灾备。

可选的，所述数据层灾备服务模块，包括：

数据存储层路径/库/表灾备模块，用于对数据层的数据存储路径、数据库、数据表进行灾备；

路径/库/表灾备优先级资源管理模块，用于对数据层的数据存储路径、数据库、数据表的灾备优先级进行管理。

可选的，所述数据存储层路径/库/表灾备模块对数据层的数据进行灾备时，具体用于：

对数据层的原始数据、基础数据、分析数据，分别进行灾备。

可选的，所述数据存储层路径/库/表灾备模块对数据层的原始数据进行灾备时，具体用于：

控制大数据平台的应用层，向备数据中心写入所述大数据平台的数据层原始数据；

其中，所述备数据中心用于存储灾备数据。

可选的，所述数据存储层路径/库/表灾备模块对数据层的基础数据和分析数据进行灾备时，具体用于：

采用数据层灾备同步方案，对数据层的基础数据和分析数据进行灾备。

可选的，所述灾备通用服务模块，包括：

灾备控制台模块，用于展现大数据灾备总体管理界面，并通过该界面进行管理流程设计及权限管理；

灾备任务管理模块，用于对灾备任务进行管理；

灾备异常预警模块，用于识别灾备异常情况，并在识别到灾备异常情况时发出语音信息；

灾备资源管理模块，用于对灾备资源进行管理；

灾备权限管理模块，用于对灾备执行权限进行管理；

灾备切换管理模块，用于对应用层灾备、系统层灾备和数据层灾备进行切换管理；

数据导回管理模块，用于对灾备数据导回大数据平台进行管理；

性能指标分析模块，用于对大数据平台灾备性能进行分析；

灾备运维管理模块，用于对大数据灾备管理系统进行运行维护。

一种大数据平台灾备方法，应用于上述的大数据灾备管理系统，该方法包括：

接收系统备份指令；

根据所述系统备份指令，分别将大数据平台的数据层、系统层和应用层备份至备数据中心。

可选的，所述根据所述系统备份指令，分别将大数据平台的数据层、系统层和应用层备份至备数据中心，包括：

调用所述大数据灾备管理系统的数据层备份服务模块，对大数据平台的数据层进行灾备处理；

调用所述大数据灾备管理系统的系统层备份服务模块，对大数据平台的系统层进行灾备处理；

以及，

调用所述大数据灾备管理系统的应用层备份服务模块，对大数据平台的应用层进行灾备处理。

本申请提出的大数据灾备管理系统，能够对大数据平台应用层、系统层和数据层分别进行灾备，从而实现对大数据平台的完整而有序的数据灾备。通过执行上述灾备方案，不仅能够通过数据层灾备，保证大数据平台的业务数据完整性，还能够通过应用层灾备和系统层灾备，保证应用和系统进程的连续性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种大数据灾备管理系统的结构示意图；

图2是本申请实施例提供的另一种大数据灾备管理系统的结构示意图；

图3是本申请实施例提供的大数据灾备管理系统的详细结构示意图；

图4是本申请实施例提供的应用层灾备服务模块和系统层灾备服务模块的灾备处理示意图；

图5是本申请实施例提供的大数据平台数据层灾备处理示意图；

图6是本申请实施例提供的一种大数据平台灾备方法的流程示意图；

图7是本申请实施例提供的大数据平台灾备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出一种大数据灾备管理系统，参见图1所示，该系统包括：

相互连接的应用层灾备服务模块1、系统层灾备服务模块2和数据层灾备服务模块3；

其中，所述应用层灾备服务模块1，用于对大数据平台的应用层进行灾备处理；

所述系统层灾备服务模块2，用于对大数据平台的系统层进行灾备处理；

所述数据层灾备服务模块3，用于对大数据平台的数据层进行灾备处理。

具体的，本申请实施例提出的大数据灾备管理系统，设置不同的灾备功能模块，分别用于对大数据平台的各个功能层级进行备份。

通常情况下，大数据平台的各个部分根据其功能的不同，可以大体分为应用层、系统层和数据层。

其中，应用层主要提供数据服务、数据分析、图分析等存储计算服务。

系统层主要完成数据采集、数据集成、数据开发、分析与挖掘等功能。

数据层主要用于存储大数据平台中的各种数据。

数据层的数据类型，根据不同的加工处理方式，可以分为原始数据、基础数据和分析数据。其中，原始数据是数据信息的来源，可以重新加工生成其他的整合数据及产品数据等，基础数据由原始数据经过简单的加工计算得来，分析数据的来源链路比较长，其需要根据原始数据和/或基础数据进行加工、分析得到。

本申请实施例提出的大数据灾备管理系统，设置应用层灾备服务模块1，用于对大数据平台的应用层进行灾备处理；系统层灾备服务模块2，用于对大数据平台的系统层进行灾备处理；数据层灾备服务模块3，用于对大数据平台的数据层进行灾备处理。

由于数据层存储的数据主要用于应用层和系统层的运行，因此，大数据平台的各层之间具有紧密联系。为了保证灾备数据的各层之间的联系性，本申请实施例提出的大数据灾备管理系统的各个模块之间也相互联系，各模块之间的关联关系，与大数据平台的各个层级之间的连接关系相同。

通过上述介绍可见，本申请实施例提出的大数据灾备管理系统，能够对大数据平台应用层、系统层和数据层分别进行灾备，从而实现对大数据平台的完整而有序的数据灾备。通过执行上述灾备方案，不仅能够通过数据层灾备，保证大数据平台的业务数据完整性，还能够通过应用层灾备和系统层灾备，保证应用和系统进程的连续性。

作为一种优选的实现方式，参见图2所示，本申请实施例提出的大数据灾备管理系统，还包括灾备通用服务模块4。

该灾备通用服务模块4通过调用所述应用层灾备服务模块1、所述系统层灾备服务模块2和所述数据层灾备服务模块3，进行灾备同步任务管理以及灾备功能控制。

具体的，灾备通用服务模块4主要实现大数据灾备管理调度、灾备演练管理等功能。灾备通用服务模块中，通过开发设置灾备管理控制台，来展现大数据灾备总体管理界面，进行管理流程设计，权限管理等；其次，增加任务管理、资源管理、权限管理、切换管理、演练管理等模块，进行灾备同步任务管理以及灾备功能控制。通过调用灾备管理系统的应用层灾备服务模块1、系统层灾备服务模块2、数据层灾备服务模块3，来完成各个层级的灾备管理功能。

下面结合图3所示，对本申请实施例提出的大数据灾备管理系统的各部分的具体结构和功能进行介绍。

参见图3所示，上述的应用层灾备服务模块1，包括：

数据开发灾备模块11用于进行应用层代码、脚本、依赖包的版本同步灾备与管理；

数据分析与可视化模块12，用于进行应用层可视化报表数据的同步灾备，以及模板、权限、配置的同步灾备；

数据服务灾备模块13，用于进行应用层自定义包的同步加载，以及系统元数据的同步灾备；

其他应用服务灾备模块14，用于对应用层中的、上述各模块未灾备的应用服务进行灾备。

具体的，应用层灾备服务模块1内部，根据灾备对象或管理对象的不同，细分为数据开发灾备模块11、数据分析与可视化模块12、数据服务灾备模块13和其他应用服务灾备模块14。

其中，数据开发灾备模块11主要用于应用层代码、脚本、依赖包的版本同步灾备与管理；数据分析与可视化模块12主要用于应用层可视化报表数据的同步，以及应用层的模板、权限、配置的同步；数据服务灾备模块13主要用于应用层自定义包的同步加载和系统元数据的同步；其他应用服务灾备模块14，负责对应用层中的、上述各模块未进行同步或灾备的应用服务进行灾备。

参见图4所示，经过应用层灾备服务模块1中的上述的各个模块对各自负责的数据或服务的同步、灾备等处理，可以将大数据平台应用层数据中心的数据，备份至备数据中心。

参见图3所示，上述的系统层灾备服务模块2，包括：

数据管理灾备模块21，至少用于对系统层业务、技术的元数据，以及数据标准、数据目录进行同步灾备；

数据采集灾备模块22，至少用于对系统层的数据采集配置信息进行同步灾备；

数据集成灾备模块23，至少用于对系统层的数据版本进行同步灾备与管理；

数据计算灾备模块24，至少用于对系统层的计算队列、基础配置信息进行同步灾备；

智能调度灾备模块25，至少用于对系统层的调度流、作业配置进行同步灾备。

具体的，系统层灾备服务模块2内部细分为数据管理灾备模块21、数据采集灾备模块22、数据集成灾备模块23、数据计算灾备模块24、智能调度灾备模块25。

其中，参见图4所示，数据管理灾备服务模块21，主要用于对系统层业务、技术的元数据，以及数据标准、数据目录进行同步灾备，同时，还对系统层权限、地图、数据质量等信息进行同步灾备；数据采集灾备模块22，主要用于对系统层的数据采集配置进行同步；数据集成灾备模块23，主要用于对系统层ETL代码、脚本、依赖包进行同步，同时，对系统层的数据版本进行同步灾备与管理；数据计算灾备模块24，主要用于对系统层的计算队列、基础配置信息等进行同步；智能调度灾备模块25，主要用于对系统层调度流、作业配置进行同步，以及，对系统层调度时间、运维等信息进行同步。

经过系统层灾备服务模块2中的上述的各个模块对各自负责的数据或服务的同步、灾备等处理，可以将大数据平台系统层数据中心的数据，备份至备数据中心。

另外，应用层和系统层根据灾备业务承接目标以及系统的RTO、RPO指标，灵活搭建异地灾备系统，对于灾难恢复级别较高的系统，考虑同比例部署灾备；对于其他重要业务系统，灾备数据中心按照80％或50％比例配置资源，构建系统业务层及应用层部署。

参见图3所示，上述的数据层灾备服务模块3，包括：

数据存储层路径/库/表灾备模块31，用于对数据层的数据存储路径、数据库、数据表进行灾备；

路径/库/表灾备优先级资源管理模块32，用于对数据层的数据存储路径、数据库、数据表的灾备优先级进行管理。

其中，数据存储层路径/库/表灾备模块31主要用于对大数据平台的数据层的数据进行灾备，包括对数据层的数据存储路径、数据库、数据表等进行灾备。

而路径/库/表灾备优先级资源管理模块32，则主要用于对数据层各项内容的灾备优先级进行管理。

其中，数据层的数据类型，根据不同的加工处理方式，可以分为以下三类：

1、原始数据，主要包括原始全量的数据，以及增量数据文件。

2、基础数据，原始数据简单加工行程的反映业务历史变化的数据表；

3、分析数据，经过业务建模行程的维度数据模型，可通过基础数据、原始数据重新计算生产。

基于上述的数据类型区分，当数据存储层路径/库/表灾备模块31对数据层进行灾备时，分别对数据层的原始数据、基础数据和分析数据进行灾备。

原始数据是数据信息的来源，可以重新加工生成其他的整合数据及产品数据等，灾难发生时，能够保证业务的连续性。为了确保原始数据的完整性，以及跨地域数据的一致性，当数据存储层路径/库/表灾备模块31对数据层的原始数据进行灾备时，控制大数据平台的应用层，直接向备数据中心写入大数据平台的数据层原始数据。

而当数据存储层路径/库/表灾备模块31对数据层的基础数据和分析数据进行灾备时，则采用数据层灾备同步方案，对数据层的基础数据和分析数据进行灾备。

具体的，基础数据由原始数据经过简单的加工计算得来，采用数据层的灾备同步方案，即与数据层灾备频率同步进行基础数据灾备。当灾难发生时，新的基础数据由原始数据计算得出，其中元数据包含对应引擎的元数据，采用系统层的同步策略，对元数据层面进行准实时同步。

分析数据的来源链路比较长，灾备策略首选数据层同步的策略；部分高优先级数据，提高灾备同步频率，时效性偏低的数据，可以降低同步频率，合理错峰。当灾难发生时，调度预执行环境，从原始数据开始，运行缺失数据，并持续运行生成基础数据和分析数据。

上述的数据灾备过程，可参见图5所示。

参见图3所示，上述的灾备通用服务模块4，包括：

灾备控制台模块41，用于展现大数据灾备总体管理界面，并通过该界面进行管理流程设计及权限管理；

灾备任务管理模块42，用于对灾备任务进行管理；

灾备异常预警模块43，用于识别灾备异常情况，并在识别到灾备异常情况时发出语音信息；

灾备资源管理模块44，用于对灾备资源进行管理；

灾备权限管理模块45，用于对灾备执行权限进行管理；

灾备切换管理模块46，用于对应用层灾备、系统层灾备和数据层灾备进行切换管理；

数据导回管理模块47，用于对灾备数据导回大数据平台进行管理；

性能指标分析模块48，用于对大数据平台灾备性能进行分析；

灾备运维管理模块49，用于对大数据灾备管理系统进行运行维护。

具体的，灾备通用服务模块4中，通过开发设置灾备管理控制台，来展现大数据灾备总体管理界面，进行管理流程设计、权限管理等。其次，增加任务管理、资源管理、权限管理、切换管理、演练管理等模块，进行灾备同步任务管理以及灾备功能控制。通过调用灾备管理系统的应用层灾备服务模块1、系统层灾备服务模块2、数据层灾备服务模块3，来完成各个层级的灾备管理功能。

本申请另一实施例还提出一种大数据平台灾备方法，该方法可应用于上述大数据平台灾备管理系统，具体可以应用于该管理系统中的灾备通用服务模块。

参见图6所示，该方法包括：

S101、接收系统备份指令。

上述的系统灾备指令，可以是大数据平台的管理者或管理系统，向大数据平台灾备管理系统发送的指令，用于指示大数据平台灾备管理系统对大数据平台进行灾备。

S102、根据所述系统备份指令，分别将大数据平台的数据层、系统层和应用层备份至备数据中心。

具体的，如图7所示，大数据平台灾备管理系统对大数据平台进行灾备时，分别对大数据平台的数据层、系统层和应用层进行备份，在备数据中心分别存储与数据层、系统层、应用层对应的备份数据。

具体的灾备处理过程，可以参照对上述的大数据平台灾备管理系统的各模块的功能介绍而实现，例如，可以通过调用大数据平台灾备管理系统的各个功能模块，实现对大数据平台数据层、系统层和应用层的备份。

可选的，当上述方法应用于图3所示的大数据平台灾备管理系统中的灾备通用服务模块时，根据所述系统备份指令，分别将大数据平台的数据层、系统层和应用层备份至备数据中心，具体包括：

调用所述大数据灾备管理系统的数据层备份服务模块，对大数据平台的数据层进行灾备处理；

调用所述大数据灾备管理系统的系统层备份服务模块，对大数据平台的系统层进行灾备处理；

以及，

调用所述大数据灾备管理系统的应用层备份服务模块，对大数据平台的应用层进行灾备处理。

通过上述介绍可见，本申请提出的大数据平台灾备方法，能够对大数据平台应用层、系统层和数据层分别进行灾备，从而实现对大数据平台的完整而有序的数据灾备。通过执行上述灾备方案，不仅能够通过数据层灾备，保证大数据平台的业务数据完整性，还能够通过应用层灾备和系统层灾备，保证应用和系统进程的连续性。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。