ES数据迁移系统及迁移方法

摘要

本发明公开了ES数据迁移系统及迁移方法，涉及数据迁移领域，系统包括数据导出模块、数据储存模块、数据导入模块、迁移导出配置模块和迁移导入配置模块；方法包括数据导出模块导出待迁移ES集群的数据并生成迁移文件，数据储存模块储存迁移文件，数据导入模块将迁移文件由储存模块导入到目标ES集群；ES数据迁移系统提供了一个稳定且可靠的方式对ES数据进行迁移，导出或导入的过程可自动进行，无需人工干预，导出后的迁移文件进行存储，可多次导入不同的ES集群；提供了一种根据目标ES集群进行数据修改的功能，可以根据实际的需要，通过迁移导出配置模块修改导出数据的索引名的前缀、修改指定字段的名称或根据一定的规则修改指定字段的值。

说明书

技术领域

本发明涉及数据迁移领域，尤其涉及一种ES数据迁移系统及迁移方法。

背景技术

ElasticSearch(下文简称ES)是一种高速可扩展的数据搜索引擎。提供了大量简单易用的RESTful接口，可以处理PB级的结构化或非结构化数据，ES集群可以很方便的进行横向扩展，但是现有市场上没有关于不同ES集群之间进行数据迁移的方法。

发明内容

本发明的目的就在于为了解决上述问题设计了一种ES数据迁移系统及迁移方法。

本发明通过以下技术方案来实现上述目的：

ES数据迁移系统，包括：

数据导出模块；数据导出模块用于导出待迁移ES集群的数据并生成迁移文件；

数据储存模块；数据储存模块用于储存迁移文件；

数据导入模块；数据导入模块用于将数据储存模块的迁移文件导入到目标ES集群。

ES数据迁移方法，包括以下步骤：

数据导出模块导出待迁移的ES集群中的数据并生成迁移文件；

数据储存模块储存迁移文件；

数据导入模块将迁移文件由储存模块导入到目标ES集群。

本发明的有益效果在于：ES数据迁移系统提供了一个稳定且可靠的方式对ES数据进行迁移，导出或导入的过程可自动进行，无需人工干预，导出后的迁移文件进行存储，可多次导入不同的ES集群；提供了一种根据目标ES集群进行数据修改的功能，可以根据实际的需要，通过迁移导出配置模块修改导出数据的索引名的前缀、修改指定字段的名称或根据一定的规则修改指定字段的值。

附图说明

图1是本发明ES数据迁移系统的数据流程图；

图2是本发明ES数据迁移系统中数据导出模块的数据流程图；

图3是本发明ES数据迁移系统中数据导入模块的数据流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的具体实施方式进行详细说明。

如图1、图2、图3所示，ES数据迁移系统，包括：

数据导出模块；数据导出模块用于导出待迁移ES集群的数据并生成迁移文件；

数据储存模块；数据储存模块用于储存迁移文件；

数据导入模块；数据导入模块用于将数据储存模块的迁移文件导入到目标ES集群。

如图2、图3所示，ES数据迁移系统还包括迁移导出配置模块和迁移导入配置模块，迁移导出配置模块用于配置待迁移ES集群的导出参数，迁移导入配置模块用于配置目标ES集群的导入参数，数据导出模块根据导出参数生成迁移文件，数据导入模块根据导入参数将迁移文件导入到目标ES集群，导出参数包括待迁移ES集群的连接方式、登录验证方式、导出ES数据的查询条件、导出的字段、导出的数据条数、导出的索引名、迁移文件的格式、迁移文件的最大数据条数、迁移文件的保存路径、是否需要修改导出的索引前缀、需要修改的字段的名称、需要修改的字段的值和值的修改规则，导入参数包括目标ES集群的连接方式、登录验证方式、迁移文件的读取路径、迁移文件的原始前缀和目标前缀。

如图1、图2、图3所示，ES数据迁移方法，包括以下步骤：

迁移导出配置模块配置待迁移ES集群的导出参数，包括待迁移ES集群的连接方式、登录验证方式、导出ES数据的查询条件、导出的字段、导出的数据条数、导出的索引名、迁移文件的格式、迁移文件的最大数据条数和迁移文件的保存路径，如果要在导出的迁移文件中对原始数据进行修改，需要根据实际的需求，配置的导出参数还包括是否修改导出的索引的前缀、需要修改的字段的名称、需要修改的字段的值以及值的修改规则，迁移文件的格式包括但不限于json、csv；

数据导出模块根据导出参数导出待迁移ES集群的数据并生成迁移文件；

数据储存模块储存迁移文件；

迁移导入配置模块配置目标ES集群的导入参数，导入参数包括目标ES集群的连接方式、登录验证方式和迁移文件的读取路径，如果要在导入的过程中修改目标索引的前缀，需要配置此索引的原始前缀以及目标前缀；

数据导入模块根据导入参数将迁移文件由储存模块导入到目标ES集群。

迁移导出配置模块在配置导出参数时，如果需要同时导出多个索引，可以使用通配符(*)来配置索引名，或者同时对多个索引配置导出参数。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。