业务自动测试方法及相关模型的训练方法和装置、设备

摘要

本申请公开了一种业务自动测试方法及相关模型的训练方法和装置、设备，其中，业务自动测试方法包括：获取目标用户以及目标用户间的业务；利用待测系统对目标用户间的业务进行测试，得到目标用户间的每一个业务的执行结果；对目标用户、目标用户间的业务及每一个业务的执行结果进行预处理，得到第一数据；将第一数据输入到业务测试模型中，确定每一个业务的执行结果是否正确。通过该方法，提高了测试效率。

说明书

技术领域

本申请涉及人工智能技术领域，特别是涉及一种业务自动测试方法及相关模型的训练方法和装置、设备。

背景技术

在通信领域，用户之间能够开展的通信业务数量非常多，由此也会相应产生数量巨大的业务场景。在利用测试系统对用户间的业务进行测试时，一个业务场景就代表一个测试用例，测试系统会对测试用例进行测试，进而给出测试用例中每个业务的执行结果。

目前，在判断测试系统给出的测试用例中每个业务的执行结果是否正确时，需要测试人员一个个判断，这样的判断方法，需要大量的人力资源去执行，测试效率低下。

因此，如何提高对测试系统给出的结果的判断效率，对于减少资源浪费，提高测试效率，具有非常重要的意义。

发明内容

本申请至少提供一种业务自动测试方法及相关模型的训练方法和装置、设备。

本申请第一方面提供了一种业务自动测试方法，该方法包括：获取目标用户以及目标用户间的业务；利用待测系统对目标用户间的业务进行测试，得到目标用户间的每一个业务的执行结果；对目标用户、目标用户间的业务及每一个业务的执行结果进行预处理，得到第一数据；将第一数据输入到业务测试模型中，确定每一个业务的执行结果是否正确。

因此，通过利用业务测试模型来对第一数据进行检测，并得到每一个业务的执行结果是否正确，实现了对待测系统得到的业务的执行结果的自动判断，减少了测试时的人力资源投入，提高了测试效率。

本申请第二方面提供了一种业务测试模型的训练方法，该方法包括：获取样本用户以及样本用户间的样本业务；利用样本系统对样本用户间的样本业务进行测试，得到样本用户间的每一个样本业务的执行结果；对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据；将样本数据输入到待训练的业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果；根据预测结果与每一个样本业务的执行结果的标注信息的差异，调整业务测试模型的网络参数，其中，标注信息为样本系统反馈的样本用户间每一个业务执行结果的对错信息。

因此，通过比较预测结果与每一个样本业务的执行结果的标注信息的差异，确定业务测试模型对每一个样本业务的执行结果的判断是否准确，进而可以根据这些差异来调整业务测试模型的网络参数，实现对业务测试模型的训练。

本申请第三方面提供了一种业务自动测试装置，该装置包括：获取模块、待测模块、预处理模块和确定模块。获取模块，用于获取目标用户以及目标用户间的业务。待测模块，用于利用待测系统对目标用户间的业务进行测试，得到目标用户间的每一个业务的执行结果。预处理模块，用于对目标用户、目标用户间的业务及每一个业务的执行结果进行预处理，得到第一数据。确定模块，用于将第一数据输入到业务测试模型中，确定每一个业务的执行结果是否正确。

本申请第四方面提供了一种业务测试模型的训练装置，该装置包括：获取模块、样本模块、预处理模块、检测模块和调整模块。获取模块，用于获取样本用户以及样本用户间的样本业务。样本模块，用于利用样本系统对样本用户间的样本业务进行测试，得到样本用户间的每一个样本业务的执行结果。预处理模块，用于对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据。检测模块，用于将样本数据输入到待训练的业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果。调整模块，用于根据预测结果与每一个样本业务的执行结果的标注信息的差异，调整业务测试模型的网络参数，其中，标注信息为样本系统反馈的样本用户间每一个业务执行结果的对错信息。

本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的业务自动测试方法，或实现上述第二方面中的业务测试模型的训练方法。

本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的业务自动测试方法，或实现上述第二方面中的业务测试模型的训练方法。

上述方案，通过利用业务测试模型来对第一数据进行检测，并得到每一个业务的执行结果是否正确，实现了对待测系统得到的业务的执行结果的自动判断，减少了测试时的人力资源投入，提高了测试效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请业务自动测试方法第一实施例的第一流程示意图；

图2是本申请业务自动测试方法第一实施例的第二流程示意图；

图3是本申请业务自动测试方法第二实施例的一流程示意图；

图4是本申请业务自动测试方法中业务测试图的示意图；

图5是本申请业务自动测试方法第三实施例的流程示意图；

图6是本申请业务测试模型的训练方法实施例的流程示意图；

图7是本申请业务自动测试装置一实施例的框架示意图；

图8是本申请业务测试模型的训练装置一实施例的框架示意图；

图9是本申请电子设备一实施例的框架示意图；

图10为本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请业务自动测试方法第一实施例的第一流程示意图，具体而言，可以包括如下步骤：

步骤S11：获取目标用户以及目标用户间的业务。

目标用户例如是通信业务中涉及的设备，可以用于业务测试。例如，目标用户可以是调度台、终端、app终端、组号等等。目标用户间的业务，即目标用户之间能够开展的通信业务。可以理解的，目标用户间的业务，既包括不同用户之间的业务，例如是两个不同用户之间的业务，或是三个及以上的用户之间的业务，也可以是一个用户自身所能开展的业务，也即，目标用户间的业务涉及的用户数量，可以是一个，也可以是数个。

在一个实施场景中，目标用户以及目标用户间的业务，可以是从数据库选择的，也可以是测试人员通过相关的设置得到的。可以理解的，获取目标用户以及目标用户间的业务的方法不受限制。

步骤S12：利用待测系统对目标用户间的业务进行测试，得到目标用户间的每一个业务的执行结果。

待测系统例如是通信业务的仿真系统，可以根据已经确定的目标用户，以及目标用户间的业务，进行仿真测试，进而得到目标用户间的每一个业务的执行结果。例如，目标用户的数量有5个，目标用户间的业务有6个，则待测系统可以得到这6个业务的执行结果。再如，目标用户间的业务包括其中1个用户对另外1个用户的呼叫业务，则待测系统会给出呼叫业务的执行结果，如未连接，响铃中等等。

步骤S13：对目标用户、目标用户间的业务及每一个业务的执行结果进行预处理，得到第一数据。

预处理可以是将目标用户，目标用户间的业务，以及每一个业务的执行结果进行组合，即将目标用户、目标用户间的业务及每一个业务的执行结果进行关联，建立关联关系，以此形成整体的数据，即第一数据。例如，可以利用目标用户、目标用户间的业务及每一个业务的执行结果来制图(图论意义上的图)，得到业务测试图。又如，可以通过对目标用户、目标用户间的业务及每一个业务的执行结果进行编码，得到特征向量，作为第一数据。

步骤S14：将第一数据输入到业务测试模型中，确定每一个业务的执行结果是否正确。

业务测试模型具体可以是神经网络模型，例如是已经训练好的神经网络模型。通过将第一数据输入到业务测试模型中，业务测试模型可以根据目标用户，目标用户间的业务，以及每一个业务的执行结果的关系，进行检测，以此确定每一个业务的执行结果是否正确，也即，业务测试模型会对每一个业务的执行结果正确与否进行判断，并输出每一个业务的执行结果是否正确的信息。例如，业务是用户A向用户B发起呼叫，该业务的执行结果是未连接，业务测试模型会输出未连接是否正确的信息，即未连接执行结果是正确，或是未连接执行结果是错误的。

因此，通过利用业务测试模型来对第一数据进行检测，并得到每一个业务的执行结果是否正确，实现了对待测系统得到的业务的执行结果的自动判断，减少了测试时的人力资源投入，提高了测试效率。

请参阅图2，图2是本申请业务自动测试方法第一实施例的第二流程示意图，具体是对上述实施例中步骤S11的进一步扩展，步骤S11包括：

步骤S111：从用户数据库中选择已设用户状态的第一数量的用户作为目标用户。

用户数据库，可以是用于测试的模拟的用户数据库，也可以实际应用中的用户数据库，在用户数据库中存储有至少一个已经预设用户状态的目标用户。每一个目标用户的状态可以包括：在线状态、不在线状态和未在系统开户状态。第一预设数量可以是1，也可以是5，具体设置不受限制。在一个具体实施场景中，用户数据库的类型例如是调度台、移动终端、组号等等。

步骤S112：根据目标用户的第一数量，在通信业务参考库中选择第二数量的通信业务。

在确定目标用户的数量以后，可以根据目标用户的数量，来对应确定需要获取的通信业务的数量。例如，可以将第二数量设置为与第一数量相等，或者是第二数量大于第一数量等等。在一个具体实施场景中，最多可以为目标用户两两之间都设置一个通信业务，也即，当第一数量为N时，第二数量M最多可以是{[1+(N-1)]*(N-1)}/2，例如，选择了10个目标用户，则第一数量为10，此时第二数量＝1+2+3+…+(10-1)＝45。

通信业务参考库是预先设置的目标用户可以执行的通信业务的集合，通信业务例如包括申请话权、摇晕、紧急呼叫等等。在一个具体实施场景中，通信业务包括双方连接业务，单方连接业务和自主业务。双方连接业务是通信双方需要保持连接的通信业务，如呼叫，监听等。单方连接业务为通信双方不需要保持连接的通信业务，如短信，动态重组等。自主业务是只需要一方就可以完成的通信业务，如登记，注销。在随机选择通信业务时，可能包括以上三种类型的通信业务，也可能是仅包括其中的一种或两种通信业务。

步骤S113：将第二数量的通信业务确定为目标用户间的业务。

在确定第一数量的目标用户，以及第二数量的通信业务之后，就可以将将第二数量的通信业务确定为目标用户间的业务。也即，此时需要将第二数量的通信业务，与目标用户之间进行匹配，确定每个目标用户开展的通信业务。在一些实施场景中，一个目标用户会同时开展几个通信业务，此时的业务场景就是交叉场景，该场景下代表的测试用例就是交叉场景下的测试用例。

因此，通过确定第一数量的目标用户，以及第二数量的通信业务，可以得到多种业务场景下测试用例，丰富了待测系统的数据来源。另外，通过得到交叉场景下的测试用例，使得待测系统能够针对交叉场景下的测试用例给出每个业务的执行结果，最终也使得业务测试模型能够针对交叉场景下的测试用例进行检测。

请参阅图3，图3是本申请业务自动测试方法第二实施例的一流程示意图。在本实施例中，第一数据为业务测试图，业务测试模型对应为图神经网络模型。具体的，本实施例包括以下步骤：

步骤S21：获取目标用户以及目标用户间的业务。

请参阅上述步骤S11，此处不再赘述。

步骤S22：利用待测系统对目标用户间的业务进行测试，得到目标用户间的每一个业务的执行结果。

请参阅上述步骤S12，此处不再赘述。

步骤S23：对目标用户，目标用户间的业务，以及每一个业务的执行结果进行预处理，生成业务测试图。

业务测试图属于图论中图的一种，用于表示目标用户间的业务关系。一个业务测试图即为一个业务场景，代表一个测试用例。通过生成业务测试图，可以利用业务测试图来表达目标用户，目标用户间的业务，以及每一个业务的执行结果之间的关联关系。

在一个具体实施场景中，预处理的过程可以是：以目标用户为节点，目标用户间的每一个业务为边，根据每一个业务的执行结果确定每一个业务对应的边的权重。具体的，以每一个目标用户的业务测试图的节点，则目标用户的数量是多少，则业务测试图中就会有多少个节点。以目标用户间的每一个业务为边，即目标用户之间有开展通信业务，则会生成边，例如，用户A呼叫用户B，该业务涉及两个用户A和B，则由用户A和B得到的节点会有边连接。根据每一个业务的执行结果确定每一个业务对应的边的权重，具体可以是，可以预先为每一个业务的执行结果，确定一个对应的数值，例如，用户A呼叫用户B，若执行结果是未连接，则对应的数值为0；若是已连接，则对应的数值是1；若是响铃中，则对应的数值是3等等，最后可以直接每一个业务的执行结果对应的数值为每一个业务对应的边的权重，也可以将数值经过换算以后，再确定为边的权重。

在一个具体实施场景中，业务的类型包括：双方连接业务、单方连接业务以及自主业务，则上述的以目标用户间的每一个业务为边，具体可以是：根据业务的类型，确定每一个业务对应的边的起点和终点。

具体的，双方连接业务对应的边和单方连接业务对应的边均为有向边。针对双方连接业务，双方连接业务对应的边的两个节点互为起点和终点。例如，用户A和用户B之间的业务为双方连接业务，则代表用户A的节点和代表用户B的节点互为起点和终点，用户A节点和用户B节点之间的边，既指向A，也指向B。针对单方连接业务，单方连接业务对应的边的一个节点为起点，另一个节点为终点，例如是以业务发起方代表的节点为起点，业务接收方代表的节点为终点。例如，户A和用户B之间的业务为单方连接业务，具体是用户A向用户B发起业务，则代表用户A的节点为起点，代表用户B的节点为终点，用户A节点和用户B节点之间的边指向B。针对自主业务，自主业务对应的边为自环，以同一个节点为起点和终点。例如，用户A发起了自主业务，则代表用户A的节点即是起点，也是终点，用户A节点的边，指向自身。

在一个具体实施场景中，步骤S23具体可以包括以下步骤231和步骤232。

步骤231：利用目标用户，目标用户间的业务，以及每一个业务的执行结果，来生成全连接图。

全连接业务测试图即图中的每个节点都与其他节点连接，两个节点之间存在边。在此情况下，在步骤S21中，在获取目标用户以及目标用户间的业务数量时，可以获取与生成全连接图所需要的对应数量的通信业务。目标用户的第一数量与目标用户间的业务的第二数量关系为：当第一数量为N时，第二数量M等于{[1+(N-1)]*(N-1)}/2。

步骤232：利用全连接图生成多个业务测试图。

在得到全连接图以后，可以利用全连接图，得到多个子图，得到的子图即为业务测试图。具体可以是，在全连接图中，通过去除部分边(即去除部分目标用户间的业务)，以此得到多个不同的子图(业务测试图)。具体去除目标用户间的业务的方法不受限制，可以是由测试人员确定，也可以由计算机通过运算后自行确定。

以此，通过生成全连接图，可以得到多个业务测试图，即得到了多个不同的业务场景，丰富了可以用于测试的业务场景。

参阅图4，图4是本申请业务自动测试方法中业务测试图的示意图。图中401至404所示的为业务测试图400的节点，405至407所示的为业务测试图400的边，408至409所示的为业务测试图400的边的权重。其中，边405是双方连接业务对应的边，边406是单方连接业务对应的边，边407是自主业务对应的边。

步骤S24：将业务测试图输入到业务测试模型中，确定每一个业务的执行结果是否正确。

在得到业务测试图以后，可以将业务测试图输入到业务测试模型中，业务测试模型对业务测试图进行检测，继而得到每一个业务的执行结果是否正确。在一个具体实施场景中，业务测试模型可以根据目标用户、目标用户间的业务，以及每一个业务的执行结果，来判断每一个业务的执行结果是否正确。

因此，通过生成业务测试图，并且利用业务测试模型对业务测试图进行检测，可以自动得到业务测试图中每一个业务的执行结果是否正确的信息，以此实现了对待测系统得到的执行结果的自动判断，提高了测试的效率。

请参阅图5，图5是本申请业务自动测试方法第三实施例的流程示意图。本实施例的内容是对上述实施例提及的业务检测模型进行训练的方法。具体的，本实施例包括以下步骤：

步骤S31：获取样本用户以及样本用户间的样本业务。

获取样本用户以及样本用户间的样本业务的详细描述，请参阅上述步骤S11，此处不再赘述。

步骤S32：利用样本待测系统对样本用户间的样本业务进行测试，得到样本用户间的每一个样本业务的执行结果。

得到样本用户间的每一个样本业务的执行结果的详细描述，请参阅上述步骤S12，此处不再赘述。本实施例的样本系统可以是上述实施例提及的待测系统，也可以是其他的通信业务仿真系统。

步骤S33：对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据。

得到样本数据的详细描述，请参阅上述步骤S13，此处不再赘述。

当样本数据是样本业务测试图时，则步骤S33具体可以是：对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本业务测试图。得到样本业务测试图的详细描述，请参阅上述步骤S23，此处不再赘述。

步骤S34：将样本数据输入到待训练的业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果。

得到每一个样本业务的执行结果是否正确的预测结果的详细描述，请参阅上述步骤S14，此处不再赘述。

当样本数据是样本业务测试图时，则步骤S34具体可以是：将样本业务测试图输入到业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果。关于该步骤的详细描述，请参阅上述步骤S24，此处不再赘述。

步骤S35：根据预测结果与每一个样本业务的执行结果的标注信息的差异，调整业务测试模型的网络参数。

标注信息具体是样本系统反馈的样本用户间每一个业务执行结果的对错信息。例如，样本系统给出了每一个业务的执行结果，则标注信息为经过确认的，每一个业务的执行结果是正确还是错误的信息。也即，标注信息可以认为是对每一个业务的执行结果的正确与否的正确地判断。

因此，通过比较预测结果与每一个样本业务的执行结果的标注信息的差异，确定业务测试模型对每一个样本业务的执行结果的判断是否准确，进而可以根据这些差异来调整业务测试模型的网络参数，实现对业务测试模型的训练。

请参阅图6，图6是本申请业务测试模型的训练方法实施例的流程示意图。

步骤S41：获取样本用户以及样本用户间的样本业务。

请参阅上述步骤S31，此处不再赘述。

步骤S42：利用样本系统对样本用户间的样本业务进行测试，得到样本用户间的每一个样本业务的执行结果。

请参阅上述步骤S32，此处不再赘述。

步骤S43：对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据。

请参阅上述步骤S33，此处不再赘述。

步骤S44：将样本数据输入到待训练的业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果。

请参阅上述步骤S44，此处不再赘述。

步骤S45：根据预测结果与每一个样本业务的执行结果的标注信息的差异，调整业务测试模型的网络参数，其中，标注信息为样本系统反馈的样本用户间每一个业务执行结果的对错信息。

请参阅上述步骤S45，此处不再赘述。

因此，通过比较预测结果与每一个样本业务的执行结果的标注信息的差异，确定业务测试模型对每一个样本业务的执行结果的判断是否准确，进而可以根据这些差异来调整业务测试模型的网络参数，实现对业务测试模型的训练。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

请参阅图7，图7是本申请业务自动测试装置一实施例的框架示意图。业务自动测试装置70包括获取模块71、待测模块72、预处理模块73和确定模块74。获取模块71用于获取目标用户以及目标用户间的业务。待测模块72用于利用待测系统对目标用户间的业务进行测试，得到目标用户间的每一个业务的执行结果。预处理模块73用于对目标用户、目标用户间的业务及每一个业务的执行结果进行预处理，得到第一数据。确定模块74用于将第一数据输入到业务测试模型中，确定每一个业务的执行结果是否正确。

其中，当第一数据为业务测试图时，上述的预处理模块73用于对目标用户、目标用户间的业务及每一个业务的执行结果进行预处理，得到第一数据，具体包括：对目标用户，目标用户间的业务，以及每一个业务的执行结果进行预处理，生成业务测试图。上述的确定模块74用于将第一数据输入到业务测试模型中，确定每一个业务的执行结果是否正确，具体包括：将业务测试图输入到业务测试模型中，确定每一个业务的执行结果是否正确。

其中，上述的预处理模块73用于对目标用户，目标用户间的业务，以及每一个业务的执行结果进行预处理，生成业务测试图，具体包括：以目标用户为节点，目标用户间的每一个业务为边，根据每一个业务的执行结果确定每一个业务对应的边的权重。

其中，上述的业务的类型包括：双方连接业务、单方连接业务以及自主业务。上述的预处理模块73用于以目标用户间的每一个业务为边，具体包括：根据业务的类型，确定每一个业务对应的边的起点和终点；其中，双方连接业务对应的边和单方连接业务对应的边均为有向边；双方连接业务对应的边的两个节点互为起点和终点；单方连接业务对应的边的一个节点为起点，另一个节点为终点；自主业务对应的边为自环，以同一个节点为起点和终点。

其中，上述的目标用户为已设用户状态的目标用户，用户状态包括：在线状态、不在线状态和未在系统开户状态。上述的获取模块71用于获取目标用户以及目标用户间的业务，具体包括：从用户数据库中选择已设用户状态的第一数量的用户作为目标用户；根据目标用户的第一数量，在通信业务参考库中选择第二数量的通信业务；将第二数量的通信业务确定为目标用户间的业务。

其中，上述的业务自动测试装置70还包括训练模块，训练模块用于对业务测试模型进行训练。具体的，训练模块用于获取样本用户以及样本用户间的样本业务，其中，样本用户间的每一个样本业务；利用样本待测系统对样本用户间的样本业务进行测试，得到样本用户间的每一个样本业务的执行结果；对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据；将样本数据输入到待训练的业务测试模型中利用业务测试模型根据样本用户、样本用户间的样本业务以及每一个样本业务的执行结果，得到每一个样本业务的执行结果是否正确的预测结果；根据预测结果与每一个样本业务的执行结果的标注信息的差异，调整业务测试模型的网络参数，其中，标注信息为样本系统反馈的样本用户间每一个业务执行结果的对错信息。

其中，当上述的样本数据为样本业务测试图时，上述的训练模块用于对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据，具体包括：对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本业务测试图。上述的将样本数据输入到业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果，具体包括：将样本业务测试图输入到业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果。

因此，通过比较预测结果与每一个样本业务的执行结果的标注信息的差异，确定业务测试模型对每一个样本业务的执行结果的判断是否准确，进而可以根据这些差异来调整业务测试模型的网络参数，实现对业务测试模型的训练。

请参阅图8，图8是本申请业务测试模型的训练装置一实施例的框架示意图。业务测试模型的训练装置80包括：获取模块81、样本模块82、预处理模块83、检测模块84以及调整模块85。获取模块81用于获取样本用户以及样本用户间的样本业务，其中，样本用户间的每一个样本业务。样本模块82用于利用样本系统对样本用户间的样本业务进行测试，得到样本用户间的每一个样本业务的执行结果。预处理模块83用于对样本用户、样本用户间的样本业务以及样本用户间的每一个样本业务的执行结果进行预处理，得到样本数据。检测模块84用于将样本数据输入到待训练的业务测试模型中，得到每一个样本业务的执行结果是否正确的预测结果。调整模块85用于根据预测结果与每一个样本业务的执行结果的标注信息的差异，调整业务测试模型的网络参数，其中，标注信息为样本系统反馈的样本用户间每一个业务执行结果的对错信息。

因此，通过比较预测结果与每一个样本业务的执行结果的标注信息的差异，确定业务测试模型对每一个样本业务的执行结果的判断是否准确，进而可以根据这些差异来调整业务测试模型的网络参数，实现对业务测试模型的训练。

请参阅图9，图9是本申请电子设备一实施例的框架示意图。电子设备90包括相互耦接的存储器91和处理器92，处理器92用于执行存储器91中存储的程序指令，以实现上述任一业务自动测试方法实施例的步骤，或实现上述任一业务测试模型的训练方法实施例中的步骤。在一个具体的实施场景中，电子设备90可以包括但不限于：微型计算机、服务器，此外，电子设备90还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器92用于控制其自身以及存储器91以实现上述任一业务自动测试方法实施例的步骤，或实现上述任一业务测试模型的训练方法实施例中的步骤。处理器92还可以称为CPU(Central Processing Unit，中央处理单元)。处理器92可能是一种集成电路芯片，具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器92可以由集成电路芯片共同实现。

请参阅图10，图10为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质100存储有能够被处理器运行的程序指令101，程序指令101用于实现上述任一业务自动测试方法实施例的步骤，或实现上述任一业务测试模型的训练方法实施例中的步骤。

上述方案，通过利用业务测试模型来对第一数据进行检测，并得到每一个业务的执行结果是否正确，实现了对待测系统得到的业务的执行结果的自动判断，减少了测试时的人力资源投入，提高了测试效率。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。