一种数据库间的数据迁移方法及系统

摘要

本发明公开一种数据库间的数据迁移方法及系统。本发明的方法包括步骤：将源数据库的待导出数据以excel格式文件的形式导出；基于前端数据解析工具对导出的excel格式文件进行解析，得到解析数据；对解析数据进行预处理；将预处理后的数据以excel格式文件的形式导出，得到待导入至目标数据库的excel格式文件；判断待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准；若是，将该excel格式文件导入目标数据库。本发明的系统包括对应实现上述每个方法步骤的功能模块。根据本发明，能够解决现有数据库间的数据迁移方法无法满足解析数据的前端编辑需求以及占用后端资源过多的问题。

说明书

技术领域

本发明属于数据迁移领域，更具体地，涉及一种数据库间的数据迁移方法及系统。

背景技术

在当今税务信息化管理中，经常需要多个税务应用系统之间进行协作以实现对税务数据的有效管理，由此引申出税务应用系统间的数据迁移问题，而税务应用系统间的数据迁移实质上是数据库间的数据迁移。

现有数据库间的数据迁移流程主要包括数据导出、数据解析、数据处理和数据导入等环节。其中，最为重要的数据解析环节通常采用POI和easyExcel等后端数据解析工具实现。然而，采用后端数据解析工具进行数据解析却存在以下两方面问题：

一、从源数据库导出的excel数据直接解析到目标数据库中，当有在前端对解析后的数据进行编辑的需求时，用户无法对解析后的数据进行编辑，灵活性差。

二、后端数据解析工具占用过多的后端服务器资源，造成后端资源紧张，而前端资源利用率较低。

发明内容

本发明的目的在于解决现有数据库间的数据迁移方法因采用后端数据解析工具实现数据解析而导致无法满足解析数据的前端编辑需求以及占用后端资源过多的问题。

为了实现上述目的，本发明提供一种数据库间的数据迁移方法及系统。

根据本发明的第一方面，提供了一种数据库间的数据迁移方法，该方法包括以下步骤：

将源数据库的待导出数据以excel格式文件的形式导出；

基于前端数据解析工具对导出的excel格式文件进行解析，得到解析数据；

对所述解析数据进行预处理；

将预处理后的数据以excel格式文件的形式导出，得到待导入至目标数据库的excel格式文件；

判断所述待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准，若是，将该excel格式文件导入所述目标数据库。

作为优选的是，所述源数据库的待导出数据被分布式地保存至预定数量的excel格式文件中。

作为优选的是，所述前端数据解析工具为js-xlsx库，所述解析数据以js格式文件的形式呈现。

作为优选的是，所述对所述解析数据进行预处理的步骤，具体为：

根据预定的数据格式校验规则对所述解析数据进行校验，基于预定的数据格式修改程序或数据格式修改工具库对未通过校验的数据进行修改。

作为优选的是，所述将预处理后的数据以excel格式文件的形式导出的步骤基于预定的数据格式转换程度或数据格式转换工具库实现。

作为优选的是，所述判断所述待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准的步骤，还包括：

若否，将不符合所述导入数据标准的数据以错误数据展示列表的形式呈现，并对所述错误数据进行修改。

作为优选的是，所述错误数据的修改方式包括在线修改和本地修改；

所述在线修改为在所述错误数据展示列表中对错误数据进行修改，并生成更新的待导入至目标数据库的excel格式文件；

所述本地修改为在所述待导入至目标数据库的excel格式文件内对错误数据进行修改，得到更新的待导入至目标数据库的excel格式文件。

作为优选的是，在所述将预处理后的数据以excel格式文件的形式导出，得到待导入至目标数据库的excel格式文件的步骤之后，还包括：

以页签的形式展示所述待导入至目标数据库的excel格式文件内的数据；

当存在多个待导入至目标数据库的excel格式文件时，则以多页签的形式展示。

作为优选的是，对于所述判断所述待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准，若是，将该excel格式文件导入所述目标数据库的步骤，当存在多个待导入的目标数据库的excel格式文件时：

excel格式文件的判断方式包括单个判断和同时判断；

excel格式文件的导入方式包括单个导入和同时导入。

根据本发明的第二方面，提供了一种数据库间的数据迁移系统，该系统包括：

第一数据导出模块，用于将源数据库的待导出数据以excel格式文件的形式导出；

数据解析模块，用于基于前端数据解析工具对导出的excel格式文件进行解析，得到解析数据；

数据预处理模块，用于对所述解析数据进行预处理；

第二数据导出模块，用于将预处理后的数据以excel格式文件的形式导出，得到待导入至目标数据库的excel格式文件；

数据校验模块，用于判断所述待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准；

数据导入模块，用于在所述待导入至目标数据库的excel格式文件内的每份数据均符合预定的导入数据标准时，将该excel格式文件导入所述目标数据库。

本发明的有益效果在于：

本发明的数据库间的数据迁移方法，采用前端数据解析工具实现对导出的excel格式文件的解析，即在前端完成对数据的解析。因此，当有在前端对解析后的数据进行编辑的需求时，用户能够对解析后的数据进行编辑。

本发明的数据库间的数据迁移方法将其数据解析环节、数据预处理环节、数据格式转换环节和数据导入判断环节均置于前端，进而使得前端系统的资源利用率较高，能够有效地缓解后端系统资源紧张的问题。

本发明还提供了一种数据库间的数据迁移系统，与上述数据库间的数据迁移方法具有相同的有益效果。

本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的实施例的数据库间的数据迁移方法的实现流程图。

图2示出了根据本发明的实施例的数据库间的数据迁移系统的结构框图。

具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

实施例：图1示出了本实施例的数据库间的数据迁移方法的实现流程图。参照图1，本实施例的数据库间的数据迁移方法包括以下步骤：

步骤S100、将源数据库的待导出数据以excel格式文件的形式导出；

步骤S200、基于js-xlsx库对导出的excel格式文件进行解析，得到解析数据；

步骤S300、对所述解析数据进行预处理；

步骤S400、将预处理后的数据以excel格式文件的形式导出，得到待导入至目标数据库的excel格式文件；

步骤S500、判断所述待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准，若是，执行步骤S600；若否，执行步骤S700；

步骤S600、将所述待导入至目标数据库的excel格式文件导入所述目标数据库；

步骤S700、修改所述待导入至目标数据库的excel格式文件内的不符合预定的导入数据标准的数据。

本实施例的步骤S100中，源数据库的待导出数据被分布式地保存至预定数量的excel格式文件中。

本实施例的步骤S200中，得到的解析数据以js格式文件的形式呈现。

本实施例的步骤S300，具体为：

根据预定的数据格式校验规则对所述解析数据进行校验，基于预定的数据格式修改程序或数据格式修改工具库对未通过校验的数据进行修改；

其中，数据校验环节基于js-xlsx库实现。

本实施例的步骤S400基于预定的数据格式转换程度或数据格式转换工具库实现。

本实施例的步骤S700，具体为：将不符合所述导入数据标准的数据以错误数据展示列表的形式呈现，并对所述错误数据进行修改。

在上述步骤中，所述错误数据的修改方式包括可选的在线修改和本地修改；

所述在线修改为在所述错误数据展示列表中对错误数据进行修改，并生成更新的待导入至目标数据库的excel格式文件。

所述本地修改为在所述待导入至目标数据库的excel格式文件内对错误数据进行修改，得到更新的待导入至目标数据库的excel格式文件。

本实施例的数据库间的数据迁移方法，在步骤S400之后，还包括：

以多页签的形式展示多个待导入至目标数据库的excel格式文件。

本实施例的步骤S500中，excel格式文件的判断方式包括单个判断和同时判断。

本实施例的步骤S600中，excel格式文件的导入方式包括单个导入和同时导入。

本实施例的数据库间的数据迁移方法涉及到用户在两个税务应用系统之间进行数据的导出及导入，从A税务应用系统中导出excel文件格式的源数据导入B税务应用系统，B税务应用系统解析并筛选源数据，并对需要收集的数据做持久化处理。

本实施例的数据库间的数据迁移方法，基于js-xlsx库实现对从源数据库导出的excel格式文件的前端解析。除解析excel文件外，js-xlsx库还具有以下功能：

1)分析excel文件的模板样式和数据格式，得到js-xlsx需要的引用样式(有效单元格数据范围，单元格地址对象)；

2)获取工作簿中的工作表名称(一个文件，多个工作表的解析)；

3)获取引用样式下的单元格对象；

4)获取单元格中的数据；

5)解析后的数据展示。

excel文件中的单元格会有各种不用的数据格式，js-xlsx库能够将其解析为对应的js格式。解析后的数据源主要是二维数组和json数据格式。

本实施例的数据库间的数据迁移方法，通过步骤S300实现数据预处理环节。在数据预处理环节中，根据预定的数据格式校验规则对所述解析数据进行校验，基于预定的数据格式修改程序或数据格式修改工具库对未通过校验的数据进行修改。

本实施例的数据库间的数据迁移方法，通过步骤S400实现数据格式转换环节。在数据格式转换环节中，基于预定的数据格式转换程度或数据格式转换工具库将预处理后的数据转换为excel数据。

本实施例的数据库间的数据迁移方法，通过步骤S500实现数据导入判断环节。

本实施例的数据库间的数据迁移方法，其数据解析环节、数据预处理环节、数据格式转换环节和数据导入判断环节均置于前端，极大地缓解了后端资源。

本实施例的导入流程的实现主要体现了批量数据处理的逻辑，多个文件的导入处理会给出所有的不符合导入规则的错误提示列表。同时可以选择在展示页面修改数据并保存为excel格式文件，也可以直接去目标文件进行修改保存再尝试导入。批量处理执行一次写入，出现异常不会完成任何数据的保存。主要流程：

①解析文件后，展示解析后的表格数数据，如果是多表格，将会出现多页签展示。

②有一键导入和单个页签导入可供选择，错误信息列表也会做出相应提示信息，对应修改表格数据也是对应的操作逻辑。

③对要入库的数据可选择勾选，部分入库和全部入库，精确到某列某一行数据的勾选。

④完成数据导入，提示成功，并显示导入数据条数。

本实施例的数据库间的数据迁移方法，能够解决用户在不同税务应用系统之间切换时所涉及的数据二次利用的导入问题，进而促成不同税务应用系统之间的业务对接，节省资源成本。

本实施例还提供一种数据库间的数据迁移系统。图2示出了本实施例的数据库间的数据迁移系统的结构框图。参照图2，本实施例的数据库间的数据迁移系统包括：

第一数据导出模块，用于将源数据库的待导出数据以excel格式文件的形式导出；

数据解析模块，用于基于js-xlsx库对导出的excel格式文件进行解析，得到解析数据；

数据预处理模块，用于对所述解析数据进行预处理；

第二数据导出模块，用于将预处理后的数据以excel格式文件的形式导出，得到待导入至目标数据库的excel格式文件；

数据校验模块，用于判断所述待导入至目标数据库的excel格式文件内的每份数据是否均符合预定的导入数据标准；

数据导入模块，用于在所述待导入至目标数据库的excel格式文件内的每份数据均符合预定的导入数据标准时，将该excel格式文件导入所述目标数据库。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。