动态扫描SQL 语句的方法及系统、电子设备、存储介质

摘要

本发明提供一种动态扫描SQL语句的方法及系统、电子设备、存储介质，方法包括：管理模块周期性收集数据库的IP列表及数据库类型，将数据库的IP列表及数据库类型发送至抓包模块；抓包模块至少依据数据库的IP列表，扫描SQL类型的数据包；抓包模块获取该SQL类型的数据包所交互的数据库类型；抓包模块获取部署该抓包模块的服务器的系统类型；抓包模块依据数据库类型及系统类型于该SQL类型的数据包中截取SQL语句，并将SQL语句发送至管理模块；以及管理模块依据一规则库判断该SQL语句是否语法错误，若该SQL语句语法错误，则管理模块将该SQL语句存入一错误SQL数据库中。本发明提供的方法及系统可以实现SQL语句的动态扫描。

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种动态扫描SQL语句的方法及系统、电子设备、存储介质。

背景技术

随着互联网公司用户数的增多，数据量也会越来越大，那么公司对SQL语句规范性的要求也会越来越高，例如生产环境中的一个慢查询SQL语句将会造成极坏的影响。对BadSQL(语法错误的SQL语句)的扫描监控，也变得越来越重要。现阶段，BadSQL的扫描方式主要有两种：第一，可以在测试环境通过静态扫描代码的形式，拉取到SQL语句，规则匹配出BadSQL，告警到相关负责人；第二，在生产环境，公司可以在DB服务端监控慢查询SQL，告警到相关负责人。

然而，上述SQL语句的扫描会存在如下缺陷：

1)静态扫描代码的形式，需要预先下载所有开发的代码库，工作量大；

2)静态扫描代码的形式，极易受到ORM(对象关系映射，Object RelationalMapping)框架的噪声影响，捞取的SQL语句不准确；

3)静态扫描代码捞取的SQL，分析结果不准确，不易扩展；

4)生产环境数据库服务端的分析，大多数情况下针对的是已经发生的慢查询SQL，如果在数据量小的情况下或违法了其他规则，BadSQL不容易被发现。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种动态扫描SQL语句的方法及系统、电子设备、存储介质，以实现SQL语句的动态扫描。

根据本发明的一个方面，提供一种动态扫描SQL语句的方法，包括：管理模块周期性收集数据库的IP列表及数据库类型，每个数据库的IP地址对应一数据库类型，将数据库的IP列表及数据库类型发送至部署在测试环境服务器上的抓包模块；所述抓包模块至少依据所述数据库的IP列表，扫描所述测试环境服务器与所述数据库的IP列表中的数据库交互的SQL类型的数据包；所述抓包模块获取该SQL类型的数据包所交互的数据库类型；所述抓包模块获取部署该抓包模块的服务器的系统类型；所述抓包模块依据所述数据库类型及所述系统类型于该SQL类型的数据包中截取SQL语句，并将所述SQL语句发送至所述管理模块；以及所述管理模块依据一规则库判断该SQL语句是否语法错误，若该SQL语句语法错误，则管理模块将该SQL语句存入一错误SQL数据库中。

可选地，所述SQL类型的数据包包括头部，不同的数据库类型及不同的系统类型的头部长度不同。

可选地，所述数据库类型包括mySQL以及SQLserver，所述系统类型包括windows以及linux，数据库类型为mySQL、系统类型为windows；数据库类型为mySQL、系统类型为linux；数据库类型为SQLserver、系统类型为windows；数据库类型为SQLserver、系统类型为linux四种情况下所述SQL类型的数据包的头部长度皆不相同。

可选地，所述抓包模块依据所述数据库类型及所述系统类型于该SQL类型的数据包中截取SQL语句，并将所述SQL语句发送至所述管理模块的步骤包括：所述抓包模块对该SQL类型的数据包进行16进制编码；所述抓包模块于该16进制编码的SQL类型的数据包中截取SQL语句；所述抓包模块将所截取的SQL语句发送至所述管理模块；对应的，所述管理模块对所截取的SQL语句进行UTF-8或UTF-16LE编码。

可选地，当所述SQL语句划分于两个数据包中时，该两个数据包共享一个识别码，所述抓包模块将所述SQL语句发送至所述管理模块时还将所述识别码发送至所述管理模块；所述管理模块识别相同的识别码，将划分在两个数据包中的SQL语句进行重组。

可选地，所述管理模块依据一规则库判断该SQL语句是否语法错误前还包括：所述管理模块判断当前SQL语句是否已存入所述错误SQL数据库中，若当前SQL语句已存入所述错误SQL数据库，则所述管理模块不再对当前SQL语句进行判断。

可选地，所述抓包模块以队列形式将所述SQL语句发送至所述管理模块。

可选地，所述抓包模块将所述SQL语句发送至所述管理模块之前还包括：所述抓包模块获取部署该抓包模块的服务器对应的应用；和/或所述抓包模块获取部署该抓包模块的服务器对应的开发组别。

所述管理模块依据部署该抓包模块的服务器对应的应用和/或开发组别以及所述错误SQL数据库生成错误SQL报告。

根据本发明的又一方面，还提供一种动态扫描SQL语句的系统，包括：一个或多个抓包模块，部署在测试环境服务器上，并抓取SQL类型的数据包解析获得SQL语句；管理模块，获取所述抓包模块发送的SQL语句，其中，所述管理模块周期性收集数据库的IP列表及数据库类型，每个数据库的IP地址对应一数据库类型，将数据库的IP列表及数据库类型发送至部署在测试环境服务器上的抓包模块；所述抓包模块至少依据所述数据库的IP列表，扫描所述测试环境服务器与所述数据库的IP列表中的数据库交互的SQL类型的数据包；所述抓包模块获取该SQL类型的数据包所交互的数据库类型；所述抓包模块获取部署该抓包模块的服务器的系统类型；所述抓包模块依据所述数据库类型及所述系统类型于该SQL类型的数据包中截取SQL语句，并将所述SQL语句发送至所述管理模块；以及所述管理模块依据一规则库判断该SQL语句是否语法错误，若该SQL语句语法错误，则管理模块将该SQL语句存入一错误SQL数据库中。

根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。

根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。

相比现有技术，本发明的优势在于：在测试环境中抓取与数据库实时交互的SQL类型的数据包，所抓取的SQL语句可实时执行，为真实的SQL语句，匹配分析结果精准。此外，通过在不同的数据库类型和系统类型，在数据包不同位置截取SQL语句，进一步实现所获取的SQL语句的准确性。本发明在准确地捞取SQL语句后，进行SQL语法错误的规则匹配时可进行扩展，减少不必要的工作量。具体而言，SQL抓包发生在测试环境，可以尽早地发现问题所在，防止生产环境不必要的影响；采用抓包模块实时捞取SQL类型的数据包，相对于静态扫描代码需要提前下载代码库，并实时更新，占用空间大，维护成本高的情况，本发明逻辑更为简单成本更低。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1示出了根据本发明实施例的动态扫描SQL语句的方法的流程图。

图2示出了根据本发明实施例的动态扫描SQL语句的系统的时序图。

图3示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。

图4示意性示出本公开示例性实施例中一种电子设备示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为了解决现有技术的缺陷，实现SQL语句的动态扫描，本发明提供一种动态扫描SQL语句的方法及系统、电子设备、存储介质。

首先参见图1，图1示出了根据本发明实施例的动态扫描SQL语句的方法的流程图。图1中共示出了6个步骤：

步骤S101：管理模块周期性收集数据库的IP列表及数据库类型，每个数据库的IP地址对应一数据库类型，将数据库的IP列表及数据库类型发送至部署在测试环境服务器上的抓包模块。

具体而言，可以理解，整个系统中包括多个数据库，每个数据库具有一个IP地址，每个IP地址对应一数据库类型。数据库类型可以是mySQL或者SQLserver。可选地，数据库的IP列表还储存有数据库的通讯端口。

整个系统中数据库可能会由于开发需要进行增加或删减，因此，管理模块需周期性地收集数据库的IP列表的更新数据，并将数据库的IP列表发送至抓包模块。

多个抓包模块可分别布置在测试环境的服务器上。测试环境的服务器可以是不同类型的系统，例如，可以是windows系统或linux系统。进一步地，在一些具体实施例中，windows环境依赖winpcap的抓包工具，linux环境依赖tcpdump抓包工具。

步骤S102：所述抓包模块至少依据所述数据库的IP列表，扫描所述测试环境服务器与所述数据库的IP列表中的数据库交互的SQL类型的数据包。

具体而言，测试环境的服务器在测试中与数据库交互以进行数据获取或编辑。在本步骤中，抓包模块依据数据库的IP列表扫描部署该抓包模块的服务器与该IP列表中的数据库交互的SQL类型的数据包。

步骤S103：所述抓包模块获取该SQL类型的数据包所交互的数据库类型。

当抓包模块抓取到数据包后，可依据数据库的IP列表查询此次交互的数据库是mySQL还是SQLserver。

步骤S104：所述抓包模块获取部署该抓包模块的服务器的系统类型。

具体而言，本步骤中，抓包模块可向部署该抓包模块的服务器询问其系统类型，例如是windows系统或linux系统。在一些变化例中，抓包模块可储存部署该抓包模块的服务器询问其系统类型以备后续抓取到数据包时提取系统类型的数据。

步骤S105：所述抓包模块依据所述数据库类型及所述系统类型于该SQL类型的数据包中截取SQL语句，并将所述SQL语句发送至所述管理模块。

具体而言，SQL类型的数据包包括头部。可选地，SQL类型的数据包还可以包括尾部。不同的数据库类型及不同的系统类型的头部长度不同。具体而言，数据库类型为mySQL、系统类型为windows；数据库类型为mySQL、系统类型为linux；数据库类型为SQLserver、系统类型为windows；数据库类型为SQLserver、系统类型为linux四种情况下所述SQL类型的数据包的头部长度皆不相同。抓包模块依据不同的数据库类型和系统类型于数据包中不同的位置截取SQL语句，并将SQL语句发送至管理模块。在一个具体实施例中，抓包模块以队列形式将SQL语句发送至管理模块。

步骤S106：所述管理模块依据一规则库判断该SQL语句是否语法错误，若该SQL语句语法错误，则管理模块将该SQL语句存入一错误SQL数据库中。

上述数据库类型和系统类型也可用于SQL语句的匹配判断。可以理解，mySQL和SQLserver的SQL的语法有部分不同，可以依据不同的语法判断SQL语句是否语法错误。步骤S106中的规则库也可由人工维护进行规则添加或修改，可以方便地扩充更多的SQL规则。

在一个具体实施例中，由于网络抓包会有很多重复的SQL语句，管理模块可在规则匹配前对重复数据作了不入库以及参数排重处理。

在又一个具体实施例中，管理模块可设置白名单，以适应一些实际情况，如数据库表为配置表，量少，且永远不会出现表中数据急剧增长地情况(SQL语句不会出现查询超时)。在白名单中的SQL语句将不会进行规则匹配和入库。

通过上述步骤S101至步骤S106，本发明提供的动态扫描SQL语句的方法中抓包模块所抓取和解析的SQL语句为真实地SQL，无噪声，可用于准确分析。此外，在部署在测试环境服务器上的抓包模块进行抓包，抓包效率高，抓包速度能达到10000个/秒，且随着测试环境服务器地增多、测试环境服务的交互请求，抓取SQL的速度会进一步增加。同时，抓包模块抓取的大量的SQL数据，通过消息队列的形式与管理模块，不会对管理模块造成压力，在夜晚时段，堆积在队列中的SQL往往会被慢慢处理，SQL不会丢失。

进一步地，上述步骤S101至步骤S106仅仅是示意性地描述本发明提供的方法，步骤执行顺序的交替及合并都在本发明的保护范围之内。

下面参见图2，图2示出了根据本发明实施例的动态扫描SQL语句的系统的时序图。

动态扫描SQL语句的系统包括管理模块290及一个或多个抓包模块280。抓包模块280部署在测试环境中的服务器上。

在图2中，管理模块290首先执行步骤S201，周期性地收集数据库IP列表及数据库类型。步骤S202，管理模块290将IP列表、数据库类型及抓包指令发送至抓包模块280。尽快在图2中示出步骤S201及步骤S202最先执行，但在实际操作中，在后续抓包模块280抓包的过程中，管理模块290依然周期性地收集数据库IP地址及数据库类型并实时发送至各个抓包模块280。

抓包模块280在接收到抓包指令后于步骤S203中依据所收到的数据库的IP列表进行抓包。然后，抓包模块280于步骤S204中将所抓取的数据包进行16进制编码，并于步骤S205中获取该数据包所交互的数据库类型及该抓包模块280的服务器的系统类型。所获取的数据库类型及系统类型用于在步骤S206中截取SQL语句。具体而言，数据库类型为mySQL、系统类型为windows；数据库类型为mySQL、系统类型为linux；数据库类型为SQLserver、系统类型为windows；数据库类型为SQLserver、系统类型为linux四种情况下所述SQL类型的数据包的头部长度皆不相同。抓包模块依据不同的数据库类型和系统类型于数据包中不同的位置截取SQL语句。

例如，在windows下捞取的SQLserver数据包：

ef90d74749c9b9c51977df5c501802005a410000030902a40000010016000000120000000200000000000000000001000000ffff0a0002000000e7e2010408d00000e201，其中，前136位为无用的数据头，于数据头之后可截取SQL语句。

例如，在linux下捞取的SQLserver数据包：

8aa4d74725c10fdd9175199e80180acd467c00000101080a71d8c1534c34832f0301024004af010016000000120000000200000000000000000001000000ffff0d000000000000000e7401f，其中，前164位为无用的数据头，于数据头之后可截取SQL语句。

在抓包模块280截取16进制编码的SQL语句之后，于步骤S207中将16进制编码的SQL语句发送至管理模块290。在本实施例中，步骤S207中，抓包模块280还将抓包模块的服务器对应的应用和/或开发组别发送至管理模块290。进一步地，上述步骤S203至步骤S207将自动重复执行。

管理模块290于步骤S208中，首先判断所接收的SQL语句是否需要重组。具体而言，当SQL语句划分于两个数据包中时，该两个数据包共享一个识别码(例如Ack码)，若所抓取的数据包中具有Ack码，则抓包模块280还将该Ack码发送至管理模块290，管理模块280识别相同的识别码，将划分在两个数据包中的SQL语句进行重组以获得完整的SQL语句。之后在步骤S209，管理模块290对直接接收的或重组获得的SQL语句进行UTF-8或UTF-16LE编码。具体而言，管理模块290对mySQL的SQL语句进行UTF-8编码；对SQLserver的SQL语句进行UTF-16LE编码，以获得真实的SQL语句。进一步地，在发明中，由于需要对抓取到的数据包进行UTF-8编码或者进行UTF-16LE编码，若直接对整个数据包进行编码将会出现包头包尾乱码的情况。因此，使抓包模块在步骤S204中对数据包进行16进制编码以便于在数据包中截取SQL语句。

管理模块290于步骤S210中，对编码后的SQL语句进行规则匹配。并在步骤S211中，将匹配为badSQL(SQL语法错误)的SQL语句存入一数据库中。管理模块290于步骤S212中，可依据储存badSQL的数据库和在步骤S207中获得的对应应用和/或开发组别生成一报告，以供相关人员进行参考。可以理解，管理模块290获得的服务器与应用和/或开发组别的对应关系可在其他步骤中获得，也可通过其他方式导入，这些变化方式都在本发明的保护范围之内。

当无需进行抓包时，由管理模块290在步骤S213中向抓包模块280发送停止抓包的指令。抓包模块280接收到指令后于步骤S214中停止抓包。

图2也仅仅是示意性地示出本发明的一个具体实施例。在不违背本发明的基本构思的前提下，步骤的执行顺序的变化、步骤的合并、步骤的省略都在本发明的保护范围之内。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述电子处方流转处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图3所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图4来描述根据本发明的这种实施方式的电子设备600。图4显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。

相比现有技术，本发明的优势在于：在测试环境中抓取与数据库实时交互的SQL类型的数据包，所抓取的SQL语句可实时执行，为真实的SQL语句，匹配分析结果精准。此外，通过在不同的数据库类型和系统类型，在数据包不同位置截取SQL语句，进一步实现所获取的SQL语句的准确性。本发明在准确地捞取SQL语句后，进行SQL语法错误的规则匹配时可进行扩展，减少不必要的工作量。具体而言，SQL抓包发生在测试环境，可以尽早地发现问题所在，防止生产环境不必要的影响；采用抓包模块实时捞取SQL类型的数据包，相对于静态扫描代码需要提前下载代码库，并实时更新，占用空间大，维护成本高的情况，本发明逻辑更为简单成本更低。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。