一种面向物联网的分布式数据库的同步方法

摘要

本发明公开了一种面向物联网的分布式数据库的同步方法，包括如下步骤：获取第一数据库对应的存储介质中的数据信息，并对数据进行整理；将整理后的数据进行格式转换，转换成所能识别的格式；对转换格式后的数据进行解析，剔除无用数据信息；将解析后的数据加入到等待列表中，确定等待列表中的数据错位类别，然后将错位数据进行重排列；将重排列的数据进行格式转换，转换成原有格式；通过数据发送单元。本发明数据库同步方法通过将从第一数据库中读取的数据进行重排列后同步至第二数据库，避免了数据库同步后数据同一性差的问题，同时，能够对数据进行转化加密，提高了数据同步效率，增大了数据同步的效果。

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种面向物联网的分布式数据库的同步方法。

背景技术

数据库是使用非常广泛的计算机软件，在生产环境中为了满足容灾和测试等需求，经常需部署数据库同步软件，将源库的数据实时同步到目标库。

目前，数据库的实时同步系统一般分为两个模块：分析导出装置及接收导入装置，该数据库的实时同步流程具体为：步骤1，分析导出装置从源库中将数据导出；步骤2，将导出的数据整理成特定的格式；步骤3，将数据发送到到接收导入装置；步骤4，接收导入装置把数据解析后装载到目标库中。然而，在现有技术中，杂合数据库广为应用，现有的数据库同步机制较为依赖源数据库，易对源数据产生影响，并且在同步过程中常常会出现数据错位，导致数据库同步后不能保证数据同一性。

发明内容

基于背景技术存在的技术问题，本发明提出了一种面向物联网的分布式数据库的同步方法。

本发明提出的一种面向物联网的分布式数据库的同步方法，包括如下步骤：

S1获取第一数据库对应的存储介质中的数据信息，并对数据进行整理；

S2将整理后的数据进行格式转换，转换成所能识别的格式；

S3对转换格式后的数据进行解析，剔除无用数据信息；

S4将解析后的数据加入到等待列表中，确定等待列表中的数据错位类别，然后将错位数据进行重排列；

S5将重排列的数据进行格式转换，转换成原有格式；

S6通过数据发送单元，将恢复成原有格式的数据同步至第二数据库中。

优选的，所述步骤S1获取第一数据库对应的存储介质中的数据信息，采用LinkedIn数据总线从所述第一数据库中读取数据。

优选的，所述步骤S4将解析后的数据加入到等待列表中，采用RabbitMQ工程缓存，将从解析后的数据加入至所述等待队列中。

优选的，所述第二数据库中设置有反馈模块，反馈模块接收到所述从第二数据库返回的同步反馈消息，记录与所述同步反馈消息对应的数据，并生成数据标识，所述数据标识用于指示数据同步成功。

优选的，所述步骤S4将错位数据进行重排列，还包括：判断所述重排列的数据是否为正确数据；如果否，则重新对错位数据进行重新排列，如果是，则结束数据排列。

优选的，所述步骤S4将错位数据进行重排列之前，还包括：配置数据的顺序信息和数据库环境信息，按照提交时刻数据库对数据进行重新排列。

优选的，所述步骤S3对转换格式后的数据进行解析，包括：将转换格式后的数据进行分类处理，将分类后的数据清洗清洗，剔除掉无用数据，将有用数据进行整合汇总。

优选的，所述步骤S4的等待列表中设置有类别确定模块，类别确定模块确定数据错位类别。

本发明中，所述一种面向物联网的分布式数据库的同步方法，数据库同步方法通过将从第一数据库中读取的数据进行重排列后同步至第二数据库，避免了数据库同步后数据同一性差的问题，同时，能够对数据进行转化加密，提高了数据同步效率，增大了数据同步的效果。

附图说明

图1为本发明提出的一种面向物联网的分布式数据库的同步方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，一种面向物联网的分布式数据库的同步方法，包括如下步骤：

S1获取第一数据库对应的存储介质中的数据信息，并对数据进行整理；

S2将整理后的数据进行格式转换，转换成所能识别的格式；

S3对转换格式后的数据进行解析，剔除无用数据信息；

S4将解析后的数据加入到等待列表中，确定等待列表中的数据错位类别，然后将错位数据进行重排列；

S5将重排列的数据进行格式转换，转换成原有格式；

S6通过数据发送单元，将恢复成原有格式的数据同步至第二数据库中。

本发明中，步骤S1获取第一数据库对应的存储介质中的数据信息，采用LinkedIn数据总线从第一数据库中读取数据。

本发明中，步骤S4将解析后的数据加入到等待列表中，采用RabbitMQ工程缓存，将从解析后的数据加入至等待队列中。

本发明中，第二数据库中设置有反馈模块，反馈模块接收到从第二数据库返回的同步反馈消息，记录与同步反馈消息对应的数据，并生成数据标识，数据标识用于指示数据同步成功。

本发明中，步骤S4将错位数据进行重排列，还包括：判断重排列的数据是否为正确数据；如果否，则重新对错位数据进行重新排列，如果是，则结束数据排列。

本发明中，步骤S4将错位数据进行重排列之前，还包括：配置数据的顺序信息和数据库环境信息，按照提交时刻数据库对数据进行重新排列。

本发明中，步骤S3对转换格式后的数据进行解析，包括：将转换格式后的数据进行分类处理，将分类后的数据清洗清洗，剔除掉无用数据，将有用数据进行整合汇总。

本发明中，步骤S4的等待列表中设置有类别确定模块，类别确定模块确定数据错位类别。

本发明：获取第一数据库对应的存储介质中的数据信息，并对数据进行整理；将整理后的数据进行格式转换，转换成所能识别的格式；对转换格式后的数据进行解析，剔除无用数据信息；将解析后的数据加入到等待列表中，确定等待列表中的数据错位类别，然后将错位数据进行重排列；将重排列的数据进行格式转换，转换成原有格式；通过数据发送单元，将恢复成原有格式的数据同步至第二数据库中。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。