一种基于直连式存储的测试流量管理和编辑方案及系统

摘要

本发明提供了一种基于直连式存储的测试流量管理和编辑方案，所述方案包括如下步骤：步骤S1、将流经旧系统的流量通过服务器拷贝下来；步骤S2、将拷贝下来的流量通过直连式存储的方式存储在不同的服务器中；步骤S3、在技术人员进行新系统测试时，通过直连式存储将所述流量传入新系统中；步骤S4、在直连式存储中对所述流量进行管理和编辑；步骤S5、将新系统产生的流量数据和旧系统产生的流量数据进行对比，进行对比测试；本发明能够通过直连式存储方式来有效的消减随机噪声干扰。

说明书

技术领域

本发明涉及软件测试技术领域，特别是一种基于直连式存储的测试流量管理和编辑方案及系统。

背景技术

目前流量回放测试多应用在系统重构中的测试，通过记录原有服务在生产环境接口中的返回结果，与新服务中请求的返回结果进行比较。但是部分请求返回的结果都会携带一些时间戳或者token等随机噪声，在请求数据返回时，需要通过降噪进行处理，去掉这些随机噪声。若一致两个系统返回的内容降噪后一致，则判断新、旧两个系统的功能实现为一致。

针对上述介绍的流量回放测试可以知道，在测试过程中，需要记录旧服务的返回值，然后也需要记录新服务的返回值，同时还需要对随机噪声进行处理后，才能去判断新、旧是否一致。而当请求经过“采集器”（系统向集群扩容一台机器，用于转发集群正常流量）后，通过采集器拷贝一份新的文件传输到新的服务中，两个服务同时获得请求返回值同时进行降噪处理。但是如果采集器出现问题，如内存满溢、服务中断、电源关闭等问题，会导致整个过程无法顺利进行下去，无法完成流量回放测试。而通过直连式存储的方式，可以不必经过采集器，直接由各个存储的节点向新、旧服务发送数据即可，只要有一台存储服务器正常，那么就不会影响数据进入。

发明内容

为克服上述问题，本发明的目的是提供一种基于直连式存储的测试流量管理和编辑方案，能够通过直连式存储方式来有效的消减随机噪声干扰。

本发明采用以下方案实现： 一种基于直连式存储的测试流量管理和编辑方案，所述方案包括如下步骤：

步骤S1、将流经旧系统的流量通过服务器拷贝下来；

步骤S2、将拷贝下来的流量通过直连式存储的方式存储在不同的服务器中；

步骤S3、在技术人员进行新系统测试时，通过直连式存储将所述流量传入新系统中；

步骤S4、在直连式存储中对所述流量进行管理和编辑；

步骤S5、将新系统产生的流量数据和旧系统产生的流量数据进行对比，进行对比测试。

进一步的，所述步骤S1进一步具体为：提供一个旧系统对其进行接口测试，将请求的数据经过所述旧系统，获取到返回值，产生流量，将产生的流量通过服务器保存下来。

进一步的，所述步骤S2进一步具体为：通过直连式存储方式将所述旧系统的流量按照接口类型存储在不同的服务器中。

进一步的，所述步骤S4进一步具体为：当流量数据需要进行编辑时，能够通过数据存储在不同的服务器内，先对get接口请求参数进行编辑，并不会影响其他服务器内的类型接口，而其他类型的接口可以持续的在新系统和旧系统中进行测试，当数据重新编辑后，再次进入新系统和旧系统中进行接口请求，对比测试。

进一步的，所述步骤S5进一步具体为：对照新旧两个系统的返回值数据进行比对，完成流量回放测试，对比返回值数据一致，判断新系统和旧系统的功能一致，对比返回值数据不一致，判断新系统和旧系统的功能不一致。

本发明还提供了一种基于直连式存储的测试流量管理和编辑系统，所述系统包括拷贝模块、存储模块、传输模块、管理和编辑模块和对比模块；

所述拷贝模块，用于将流经旧系统的流量通过服务器拷贝下来；

所述存储模块，用于将拷贝下来的流量通过直连式存储的方式存储在不同的服务器中；

所述传输模块，用于在技术人员进行新系统测试时，通过直连式存储将所述流量传入新系统中；

所述管理和编辑模块，用于在直连式存储中对所述流量进行管理和编辑；

所述对比模块，用于将新系统产生的流量数据和旧系统产生的流量数据进行对比，进行对比测试。

进一步的，所述拷贝模块进一步具体为：提供一个旧系统对其进行接口测试，将请求的数据经过所述旧系统，获取到返回值，产生流量，将产生的流量通过服务器保存下来。

进一步的，所述存储模块进一步具体为：通过直连式存储方式将所述旧系统的流量按照接口类型存储在不同的服务器中。

进一步的，所述管理和编辑模块进一步具体为：当流量数据需要进行编辑时，能够通过数据存储在不同的服务器内，先对get接口请求参数进行编辑，并不会影响其他服务器内的类型接口，而其他类型的接口可以持续的在新系统和旧系统中进行测试，当数据重新编辑后，再次进入新系统和旧系统中进行接口请求，对比测试。

进一步的，所述对比模块进一步具体为：对照新旧两个系统的返回值数据进行比对，完成流量回放测试，对比返回值数据一致，判断新系统和旧系统的功能一致，对比返回值数据不一致，判断新系统和旧系统的功能不一致。

本发明的有益效果在于：通过本方案提供基于直连式存储的回放流量管理和编辑方案，有效的解决了以下两个问题：一、解放出采集器，将流经旧系统的所有流量，按照请求类型分布式存储到不同的服务器中，通过直连式存储，加快读取数据的速度，尽量去除噪声音token的影响；二、通过分布式存储的方式，当部分数据需要进行编辑修改时，并不会影响其他数据的运行，其他请求依旧可以顺利进行，一定程度上的解耦会大大提高整个测试速度。

附图说明

图1是本发明的方法流程示意图。

图2是本发明的系统原理框图。

具体实施方式

下面结合附图对本发明做进一步说明。

请参阅图1所示，本发明的 一种基于直连式存储的测试流量管理和编辑方案，所述方案包括如下步骤：

步骤S1、将流经旧系统的流量通过服务器拷贝下来；

步骤S2、将拷贝下来的流量通过直连式存储的方式存储在不同的服务器中；

步骤S3、在技术人员进行新系统测试时，通过直连式存储将所述流量传入新系统中；

步骤S4、在直连式存储中对所述流量进行管理和编辑；

步骤S5、将新系统产生的流量数据和旧系统产生的流量数据进行对比，进行对比测试。

下面结合一具体实施例对本发明作进一步说明：

一种基于直连式存储的回放流量管理和编辑方案，其特征在于，包括如下步骤：

A)流经旧系统的流量通过服务器拷贝下来；

B)将流量通过直连式存储的方式存储在不同的服务器中；

C)新系统测试时，通过直连式存储将流量传入新系统中；

D)在直连式存储中进行流量的管理和编辑；所述管理为存储管理：流量按照接口类型（get、post、put、patch、delete等）存储在不同的服务器中；所述编辑为数据编辑：通过在主机中修改接口信息中的输入值进行修改，同时在直连式存储中，数据依赖服务器主机对数据进行IO读写和存储维护管理，所以数据在主机进行修改时，即可同步到其他服务器；

E)新数据可重新流经旧系统和新系统进行对比测试。

本案是这样实现的，一种基于直连式存储的回放流量管理和编辑方案，包括：

首先当对于就系统进行接口测试时，请求的数据经过旧系统，获取到返回值，这一完整操作会产生流量，我们将这部分流量保存下来。通过直连式存储的方式，将这些流量按照接口类型（get、post、put、patch、delete等）存储在不同的服务器中。当需要进行新系统测试时，从不同的服务器中均可以获取到原经过旧系统的流量，且由于直连式存储的特征，数据读取速度极快。在请求经过两个系统后，产生的token数据可能完全一致，这样在系统处理噪声时，只需要处理部分噪声即可；根据服务器对于token5分钟时效性的定义，token在产生的5分钟内是不会变更，每5分钟token随机进行变更：如果在5分钟外经过两个系统，那么token数据一定不一致，在进行数据对比时，需要去掉token值，因为token是附加在数据的最后，所以通过head, sep, tail = text.partition('token:')删除整个token信息。如果在5分钟内经过两个系统，那么token数据一定是一致的，但是为了保证服务器的时间一致，通常也会通过head, sep, tail = text.partition('token:')代码删掉token数据。

本发明中所述直连式存储的特征为：存储系统被直连到应用的服务器中，直连式存储依赖于服务器主机系统对数据进行读写和管理，所以当主机数据进行变更时，其他存储服务器数据会随之变更，而服务器数据无法自主变更，可以保证数据在流经新、旧测试系统时保持一致；直连式依赖于系统CPU和IO性能，目前最常见的家用CPU都完成可以支持数据快速读取，所以直连式存储数据的读取速度极快。

其次，当流量数据需要进行编辑时，我们率先对get接口请求参数进行编辑，此时并不会影响其他类型接口，而其他类型就扣可以持续的在新旧系统中进行测试。当数据重新编辑后，重新去跑新旧两个系统的接口请求。此时去对照新旧两个系统的返回值是否为一致，即可完成流量回放测试，需要判断是否百分百一致，新旧两个系统可以理解为复制粘贴，为了防止在复制过程少复制或者粘贴过程少粘贴或多粘贴，需要对前后两个系统的返回值数据进行对比，保证数据百分百一致。

例1：流量回放测试的应用。

在流量回放测试过程中，通过直连式存储的方式对数据新旧两个系统进行接口请求，在第一次数据流经旧系统时，我们按照返回类型将数据通过直连式存储在不同的本地服务器中，这里将get请求内容及返回值存储在server1中，将post请求和返回值存储在server2中，将pet请求内容和返回值存储在server3中，将patch和delete请求和返回值存储在server4中，将其他类型的请求内容和返回值存储在server5中。等待系统重构完成后，会有一个与原系统功能一样的新系统产生，这个时候我们要用测试旧系统的内容进行新系统的测试，这个称之为流量回放测试。此时我们把数据通过直连式存储的服务器中获取，然后重新传入到新的流量系统中，经过流量回放测试，对比新旧两个系统的返回值是否一致来判断两个系统的功能是否为一致。

由于所有的请求在一段时间内会产生不同的时间戳数据和token，那么这些数据就是所谓的噪声，在进行对比时需要解决噪声产生的影响。直连式存储的特点为能够高速的读取磁盘内容，所以在一定程度上会极大的减少了token不一致的情况，相比于之前流经旧系统的数据重新保存后再次流经新系统的方式，两个系统同时从服务器获取数据的情况来看，我们实验最终发现，token的不同概率无限趋近于0。

例2：回放流量的管理和编辑。

在流量回放测试过程中，我们实验发现可能会出现由于人为原因导致进行验证的请求是存在问题的，按照原有的流量回放测试流程来做，需要将请求数据进行修改后，然后传入旧系统产生返回值，然后再将流量流经新系统进行对照。而这里解决的问题是在直连式存储网络的条件下，每个服务器存储了不同类型的请求方式，当其中几个请求内容出现错误时，可以先将没有问题的一些请求去进行测试。有问题的请求修改时，并不影响其他几个服务器存储的内容，当修改完毕后，再传入修改完毕后的内容即可。这样对于回复流量的管理从原有的整体存储变为块状存储，进行了一定的解耦。

总之，通过直连式存储方式，当流量经过旧系统时，通过服务器将流量拷贝一份，并且存储在其他的服务器中，以直连式的存储方式（分布式存储的一种方法）。通过分布式存储的特点，在流量进入到新系统时，可以从各个服务器中同时获取到经过旧系统的那些流量，而直连式存储的特点很适合对磁盘访问速度要求较高的情况，这样可以有效的削减随机噪声干扰。同时流量存储在不同的服务器中，当有部分的流量需要修改时，并不影响其他流量的数据，其次若有多个流量进行修改时，可以同步进行。直连式存储的方式对于回放流量的保存和编辑有着极佳的支撑。

请参阅图2所示，本发明还提供了一种基于直连式存储的测试流量管理和编辑系统，所述系统包括拷贝模块、存储模块、传输模块、管理和编辑模块和对比模块；

所述拷贝模块，用于将流经旧系统的流量通过服务器拷贝下来；

所述存储模块，用于将拷贝下来的流量通过直连式存储的方式存储在不同的服务器中；

所述传输模块，用于在技术人员进行新系统测试时，通过直连式存储将所述流量传入新系统中；

所述管理和编辑模块，用于在直连式存储中对所述流量进行管理和编辑；

所述对比模块，用于将新系统产生的流量数据和旧系统产生的流量数据进行对比，进行对比测试。

所述拷贝模块进一步具体为：提供一个旧系统对其进行接口测试，将请求的数据经过所述旧系统，获取到返回值，产生流量，将产生的流量通过服务器保存下来。

所述存储模块进一步具体为：通过直连式存储方式将所述旧系统的流量按照接口类型存储在不同的服务器中。

所述管理和编辑模块进一步具体为：当流量数据需要进行编辑时，能够通过数据存储在不同的服务器内，先对get接口请求参数进行编辑，并不会影响其他服务器内的类型接口，而其他类型的接口可以持续的在新系统和旧系统中进行测试，当数据重新编辑后，再次进入新系统和旧系统中进行接口请求，对比测试。

所述对比模块进一步具体为：对照新旧两个系统的返回值数据进行比对，完成流量回放测试，对比返回值数据一致，判断新系统和旧系统的功能一致，对比返回值数据不一致，判断新系统和旧系统的功能不一致。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。