分布式数据库访问方法、装置及分布式数据库管理系统

摘要

本发明提供了一种分布式数据库访问方法、装置及分布式数据库管理系统，通过在数据库客户端与分布式数据库之间部署代理层中间件，使代理层中间件对数据库客户端发送的SQL请求进行预检查，若判定SQL请求能被正常执行则将SQL请求转发到分布式数据库，若判定SQL请求不能被正常执行则对其进行拦截，提高分布式数据库的访问效率，避免异常SQL请求对分布式数据库的影响，保证分布式数据库的稳定性和可靠性。

说明书

技术领域

本发明涉及数据库技术领域，更具体的，涉及一种分布式数据库访问方法、装置及分布式数据库管理系统。

背景技术

随着分布式数据库的广泛应用，用户对分布式数据库也提出了更高的性能要求，如负载均衡、熔断限流等。

目前一般利用客户端中间件对数据库客户端进行封装和改造，以提高分布式数据库的访问性能。虽然在实现上复杂度较低，但难以对各个客户端进行统一管理，无法有效地对分布式数据库的访问进行治理。

发明内容

有鉴于此，本发明提供了一种分布式数据库访问方法、装置及分布式数据库管理系统，有效增强对分布式数据库访问的治理能力。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种分布式数据库访问方法，应用于分布式数据库管理系统中的代理层中间件，所述代理层中间件部署在数据库客户端与分布式数据库之间，所述方法包括：

在接收到所述数据库客户端发送的SQL请求的情况下，判断所述SQL请求是否能被正常执行；

若能被正常执行，根据预先存储的租户配置信息，将所述SQL请求转发到所述分布式数据库；

若不能被正常执行，拦截所述SQL请求，并向所述数据库客户端反馈错误信息。

可选的，所述判断所述SQL请求是否能被正常执行，包括：

调用SQL语法解析器对所述SQL请求进行解析；

若在解析过程中出现错误或判断解析得到的抽象语法树不允许执行，判定所述SQL请求不能被正常执行；

若所述SQL请求能被正常解析，判断所述SQL请求是否触发预设拦截条件；

若触发预设拦截条件，判定所述SQL请求不能被正常执行；

若未触发预设拦截条件，判定所述SQL请求能被正常执行。

可选的，所述判断所述SQL请求是否触发预设拦截条件，包括：

获取窗口时间内请求时间超过预设时长的请求次数；

判断所述请求次数是否超过预设熔断限流阈值；

若超过预设熔断限流阈值，判定所述SQL请求触发预设拦截条件；

若未超过预设熔断限流阈值，判定所述SQL请求未触发预设拦截条件。

可选的，所述向所述数据库客户端反馈错误信息，包括：

向所述数据库客户端反馈错误码，所述错误码表示所述SQL请求被拦截的错误类型。

可选的，在接收到所述数据库客户端发送的SQL请求之前，所述方法还包括：

接收所述数据库客户端发送的携带有账号信息的鉴权请求；

根据预先存储的租户配置信息，对所述账号信息进行验证；

在验证通过的情况下，向所述数据库客户端反馈鉴权通过响应信息。

一种分布式数据库访问装置，应用于分布式数据库管理系统中的代理层中间件，所述代理层中间件部署在数据库客户端与分布式数据库之间，所述装置包括：

SQL请求预检查单元，用于在接收到所述数据库客户端发送的SQL请求的情况下，判断所述SQL请求是否能被正常执行，若能被正常执行，触发SQL请求转发单元，若不能被正常执行，触发错误信息反馈单元；

所述SQL请求转发单元，用于根据预先存储的租户配置信息，将所述SQL请求转发到所述分布式数据库；

所述错误信息反馈单元，用于拦截所述SQL请求，并向所述数据库客户端反馈错误信息。

可选的，所述SQL请求预检查单元，包括：

SQL语法检查子单元，用于调用SQL语法解析器对所述SQL请求进行解析；若在解析过程中出现错误或判断解析得到的抽象语法树不允许执行，判定所述SQL请求不能被正常执行；若所述SQL请求能被正常解析，触发拦截检查子单元；

所述拦截检查子单元，用于判断所述SQL请求是否触发预设拦截条件；若触发预设拦截条件，判定所述SQL请求不能被正常执行；若未触发预设拦截条件，判定所述SQL请求能被正常执行。

可选的，所述拦截检查子单元，具体用于：

获取窗口时间内请求时间超过预设时长的请求次数；

判断所述请求次数是否超过预设熔断限流阈值；

若超过预设熔断限流阈值，判定所述SQL请求触发预设拦截条件；

若未超过预设熔断限流阈值，判定所述SQL请求未触发预设拦截条件。

可选的，所述错误信息反馈单元，具体用于：

向所述数据库客户端反馈错误码，所述错误码表示所述SQL请求被拦截的错误类型。

可选的，所述装置还包括鉴权单元，用于：

在接收到所述数据库客户端发送的SQL请求之前，接收所述数据库客户端发送的携带有账号信息的鉴权请求；

根据预先存储的租户配置信息，对所述账号信息进行验证；

在验证通过的情况下，向所述数据库客户端反馈鉴权通过响应信息。

一种分布式数据库管理系统，包括：控制台、中控服务和代理层中间件；

所述控制台，用于创建租户，生成租户配置信息；

所述中控服务，用于对所述租户配置信息进行预处理，并将预处理后的所述租户配置信息发送到所述代理层中间件。

所述代理层中间件，用于执行上述实施例公开的分布式数据库访问方法。

可选的，所述中控服务，还用于获取所述代理层中间件拦截的SQL请求的详细信息；

所述控制台，还用于响应于被拦截SQL请求的查询指令，调用所述中控服务，显示被拦截SQL请求的详细信息。

可选的，所述系统还包括：

监控平台，用于获取所述代理层中间件拦截的SQL请求的详细信息，并对其进行统计分析。

可选的，所述系统还包括：

报警平台，用于获取所述代理层中间件拦截的SQL请求的详细信息，并在检测到由于触发预设拦截条件而被拦截的SQL请求时进行报警。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种分布式数据库访问方法，通过在数据库客户端与分布式数据库之间部署代理层中间件，使代理层中间件对数据库客户端发送的SQL请求进行预检查，若判定SQL请求能被正常执行则将SQL请求转发到分布式数据库，若判定SQL请求不能被正常执行则对其进行拦截，提高分布式数据库的访问效率，避免异常SQL请求对分布式数据库的影响，保证分布式数据库的稳定性和可靠性，有效增强对分布式数据库访问的治理能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种分布式数据库访问方法的应用场景示意图；

图2为本发明实施例公开的一种分布式数据库访问方法的流程示意图；

图3为本发明实施例公开的一种判断SQL请求是否能被正常执行的方法的流程示意图；

图4为本发明实施例公开的一种分布式数据库访问装置的结构示意图；

图5为本发明实施例公开的一种分布式数据库管理系统的结构示意图；

图6为本发明实施例公开的另一种分布式数据库管理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对分布式数据库，提出了一种分布式数据库访问方法，应用于分布式数据库管理系统中的代理层中间件。请参阅图1，通过在数据库客户端与分布式数据库之间部署代理层中间件，分布式数据库可以为TiDB数据库。代理层中间件可以为由多个代理层中间件实例组成的集群，各个代理层中间件实例相互独立，没有共享状态，通过负载均衡访问集群，该代理层中间件在协议层和SQL语法层与分布式数据库完全兼容，只需修改数据库客户端的SQL请求发送地址即可实现数据库客户端的SQL请求被无感知的迁移到代理层中间件，无需对数据库客户端的代码进行任何改造，迁移成本极低。代理层中间件统一接管所有的数据库请求流量，方便集中式管理，有效增强对分布式数据库访问的治理能力。

具体的，请参阅图2，本发明实施例公开的一种分布式数据库访问方法包括以下步骤：

S101：接收到数据库客户端发送的SQL请求。

进一步，为了提高分布式数据库访问的安全性，代理层中间件在接收数据库客户端发送的SQL请求之前，需要先对数据库客户端进行鉴权。

代理层中间件预先存储租户配置信息，租户配置信息包括但不限于包括：用户访问代理层中间件的账号信息(如用户名、密码)、可访问的数据库列表、SQL黑/白名单等。

数据库客户端在发送SQL请求之前，需要先像代理层中间件发送携带有账号信息的鉴权请求，代理层中间件根据预先存储的租户配置信息，对鉴权请求中的账号信息进行验证，在验证通过的情况下，向数据库客户端反馈鉴权通过响应信息，在验证不通过的情况下，向数据库客户端反馈鉴权未通过响应信息，提示数据库客户端重新提供账号信息。

S102：判断SQL请求是否能被正常执行。

本实施例中判断SQL请求是否能被正常执行主要包括两方面，其一为对SQL请求进行语法检查，其二为判断SQL请求是否触发预设拦截条件。

SQL请求语法检查主要检查数据库客户端发送的SQL请求是否存在语法错误，以保证转发到分布式数据库的SQL请求均可被正常执行。

为了实现对分布式数据库的负载均衡管理和熔断限流等提高分布式数据库性能的管理，预先设置拦截条件，拦截可能影响分布式数据库性能的SQL请求。

请参阅图3，一种可选的判断SQL请求是否能被正常执行的方法如下：

S201：调用SQL语法解析器对SQL请求进行解析。

S202：判断SQL请求是否能被正常解析。

若SQL请求不能被正常解析，如在解析过程中出现错误或判断解析得到的抽象语法树不允许执行，S203：判定SQL请求不能被正常执行。

若SQL请求能被正常解析，S204：判断SQL请求是否触发预设拦截条件。

以预设拦截条件为熔断限流拦截条件为例，获取窗口时间内请求时间超过预设时长的请求次数，判断该请求次数是否超过预设熔断限流阈值，若超过预设熔断限流阈值，则判定SQL请求触发预设拦截条件，反之，若未超过预设熔断限流阈值，则判定SQL请求未触发预设拦截条件。

例如:设置预设时长为3秒，熔断限流阈值为5次，窗口时间为10秒，则当10秒内请求时间超过3秒的请求次数大于5次时，触发熔断限流拦截。

若触发预设拦截条件，S203：判定SQL请求不能被正常执行。

若未触发预设拦截条件，S205：判定SQL请求能被正常执行。

若SQL请求能被正常执行，S103：根据预先存储的租户配置信息，将SQL请求转发到分布式数据库。

具体的，根据租户配置信息中可访问的数据库列表，将SQL请求转发到可访问的数据库列表中的数据库。

若SQL请求不能被正常执行，S104：拦截SQL请求，并向数据库客户端反馈错误信息。

优选的，错误信息的表现形式可以为错误码，错误码表示SQL请求被拦截的错误类型，如语法错误，触发拦截条件等，便于用户通过数据库客户端了解SQL请求被拦截的原因，从而对SQL请求进行相应调整。

可见，本实施例公开的一种分布式数据库访问方法，通过在数据库客户端与分布式数据库之间部署代理层中间件，使代理层中间件对数据库客户端发送的SQL请求进行预检查，若判定SQL请求能被正常执行则将SQL请求转发到分布式数据库，若判定SQL请求不能被正常执行则对其进行拦截，提高分布式数据库的访问效率，避免异常SQL请求对分布式数据库的影响，保证分布式数据库的稳定性和可靠性，有效增强对分布式数据库访问的治理能力。

基于上述实施例公开的一种分布式数据库访问方法，本实施例对应公开了一种分布式数据库访问装置，应用于分布式数据库管理系统中的代理层中间件，所述代理层中间件部署在数据库客户端与分布式数据库之间，请参阅图4，所述装置包括：

SQL请求预检查单元100，用于在接收到所述数据库客户端发送的SQL请求的情况下，判断所述SQL请求是否能被正常执行，若能被正常执行，触发SQL请求转发单元，若不能被正常执行，触发错误信息反馈单元；

所述SQL请求转发单元200，用于根据预先存储的租户配置信息，将所述SQL请求转发到所述分布式数据库；

所述错误信息反馈单元300，用于拦截所述SQL请求，并向所述数据库客户端反馈错误信息。

可选的，所述SQL请求预检查单元100，包括：

SQL语法检查子单元，用于调用SQL语法解析器对所述SQL请求进行解析；若在解析过程中出现错误或判断解析得到的抽象语法树不允许执行，判定所述SQL请求不能被正常执行；若所述SQL请求能被正常解析，触发拦截检查子单元；

所述拦截检查子单元，用于判断所述SQL请求是否触发预设拦截条件；若触发预设拦截条件，判定所述SQL请求不能被正常执行；若未触发预设拦截条件，判定所述SQL请求能被正常执行。

可选的，所述拦截检查子单元，具体用于：

获取窗口时间内请求时间超过预设时长的请求次数；

判断所述请求次数是否超过预设熔断限流阈值；

若超过预设熔断限流阈值，判定所述SQL请求触发预设拦截条件；

若未超过预设熔断限流阈值，判定所述SQL请求未触发预设拦截条件。

可选的，所述错误信息反馈单元300，具体用于：

向所述数据库客户端反馈错误码，所述错误码表示所述SQL请求被拦截的错误类型。

可选的，所述装置还包括鉴权单元，用于：

在接收到所述数据库客户端发送的SQL请求之前，接收所述数据库客户端发送的携带有账号信息的鉴权请求；

根据预先存储的租户配置信息，对所述账号信息进行验证；

在验证通过的情况下，向所述数据库客户端反馈鉴权通过响应信息。

本实施例还公开了一种分布式数据库管理系统，请参阅图5，包括：控制台、中控服务和代理层中间件；

所述控制台，用于创建租户，生成租户配置信息，由中控服务推送到代理层中间件加载该租户配置信息。

所述中控服务，用于对所述租户配置信息进行预处理，如将租户配置信息的格式转换为代理层中间件可识别的格式，并将预处理后的所述租户配置信息发送到所述代理层中间件。

所述代理层中间件，用于执行如下分布式数据库访问方法：

在接收到所述数据库客户端发送的SQL请求的情况下，判断所述SQL请求是否能被正常执行；

若能被正常执行，根据预先存储的租户配置信息，将所述SQL请求转发到所述分布式数据库；

若不能被正常执行，拦截所述SQL请求，并向所述数据库客户端反馈错误信息。

进一步，所述判断所述SQL请求是否能被正常执行，包括：

调用SQL语法解析器对所述SQL请求进行解析；

若在解析过程中出现错误或判断解析得到的抽象语法树不允许执行，判定所述SQL请求不能被正常执行；

若所述SQL请求能被正常解析，判断所述SQL请求是否触发预设拦截条件；

若触发预设拦截条件，判定所述SQL请求不能被正常执行；

若未触发预设拦截条件，判定所述SQL请求能被正常执行。

进一步，所述判断所述SQL请求是否触发预设拦截条件，包括：

获取窗口时间内请求时间超过预设时长的请求次数；

判断所述请求次数是否超过预设熔断限流阈值；

若超过预设熔断限流阈值，判定所述SQL请求触发预设拦截条件；

若未超过预设熔断限流阈值，判定所述SQL请求未触发预设拦截条件。

进一步，所述向所述数据库客户端反馈错误信息，包括：

向所述数据库客户端反馈错误码，所述错误码表示所述SQL请求被拦截的错误类型。

进一步，在接收到所述数据库客户端发送的SQL请求之前，所述方法还包括：

接收所述数据库客户端发送的携带有账号信息的鉴权请求；

根据预先存储的租户配置信息，对所述账号信息进行验证；

在验证通过的情况下，向所述数据库客户端反馈鉴权通过响应信息。

可选的，所述中控服务，还用于获取所述代理层中间件拦截的SQL请求的详细信息；

所述控制台，还用于响应于被拦截SQL请求的查询指令，调用所述中控服务，显示被拦截SQL请求的详细信息，如包括租户信息、数据库、表以及SQL去除各种变量后得到的SQL范式，便于用户做出针对性调整。

请参阅图6，本实施例还公开了一种分布式数据库管理系统，相对于上述实施例公开的分布式数据库管理系统，增加了监控平台和报警平台，增加了监控功能和报警功能。

监控平台，用于获取所述代理层中间件拦截的SQL请求的详细信息，并对其进行统计分析，得到多种监控指标，便于对分布式数据库的性能进行趋势分析，并便于数据库运维人员根据监控指标排查问题。。

报警平台，用于获取所述代理层中间件拦截的SQL请求的详细信息，并在检测到由于触发预设拦截条件而被拦截的SQL请求时进行报警，具体可以通过短信、邮件、即时通信工具等方式，将报警信息发送到预设数据库运维人员，使数据库运维人员可以尽快排查并解决问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

上述各个实施例之间可任意组合，对所公开的实施例的上述说明，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。