用于语言模型的处理方法、文本生成方法、装置及介质

摘要

本公开实施例涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。其中，语言模型被部署在电子设备中，并且语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，用于语言模型的处理方法包括：在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。由此，可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销，从而可以有效提高GPU的计算效率，进而提高语言模型的计算效率，从而有效降低基于语言模型进行文本处理的延迟。

说明书

技术领域

本公开实施例涉及计算机技术领域，具体地，涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。

背景技术

在自然语言生成任务中，通常采用语言模型进行文本预测生成，语言模型的计算量通常比较庞大，给实际的部署执行带来了困难。

相关技术中，通常采用计算图的方式，然而上述过程中，需要使用大量的GPU(Graphics Processing Unit，图形处理器)算子，造成算子调度、显存传输等额外开销，使得语言模型的部署后，基于该语言模型进行文本处理时执行延时较高、可用性较低。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开实施例提供一种用于语言模型的处理方法、文本生成方法、装置及介质。

第一方面，本公开实施例提供一种用于语言模型的处理方法，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述方法包括：

在确定所述融合计算操作即将被执行时，所述电子设备的CPU(CentralProcessing Unit，中央处理器)向GPU发送包含所述多个计算操作的操作指令；

响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

第二方面，本公开实施例提供一种文本生成方法，所述方法包括：

接收待处理文本；

将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；

对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；

分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

第三方面，本公开实施例提供一种用于语言模型的处理装置，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述装置包括：

发送模块，用于在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；

处理模块，用于响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

第四方面，本公开实施例提供一种文本生成装置，所述装置包括：

接收模块，用于接收待处理文本；

输入模块，用于将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；

排序模块，用于对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；

拼接模块，用于分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

第五方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤，或者该程序被处理装置执行时实现第二方面所述方法的步骤。

第六方面，本公开实施例提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤，或者实现第二方面所述方法的步骤。

在上述技术方案中，语言模型被部署在电子设备中时，所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，从而可以在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。由此，通过上述技术方案，可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销，从而可以有效提高GPU的计算效率，进而提高语言模型的计算效率，从而有效降低基于语言模型进行文本处理的延迟，为保证基于语言模型进行处理的实时性提供支持。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据本公开的一种实施方式提供的用于语言模型的处理方法的流程图；

图2A是相关技术中GPU计算操作的流程示意图；

图2B是根据本公开的一种实施方式提供的GPU计算操作的流程示意图；

图3是根据本公开的一种实施方式提供的文本生成方法的流程图；

图4是根据本公开的一种实施方式提供的对每一候选字符对应的概率信息进行排序，并基于排序的结果从候选字符中确定多个目标字符的示例性实现方式的流程图；

图5是根据本公开的一种实施方式提供的用于语言模型的处理装置的框图；

图6是根据本公开的一种实施方式提供的文本生成装置的框图；

图7示出了适于用来实现本公开实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

本公开提供一种用于语言模型的处理方法。其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作。在一种可能的实施例中，该目标类型的计算可以是矩阵乘法的计算。在语言模型的一个特征层中通常需要执行一系列计算操作，从而获得该特征层输出的计算结果。在该实施例中，可以该一系列计算操作中处于两个矩阵乘法之间的多个计算操作合并为一个融合计算操作，即将多个计算操作合并为一个算子。作为另一示例，该目标类型的计算可以是矩阵乘法和矩阵点乘，例如可以将矩阵乘法和矩阵点乘之间的多个计算操作合并为一个融合计算操作，也可以将矩阵乘法和矩阵乘法之间的多个计算操作合并为一个融合计算操作。其中，目标类型可以根据实际的使用场景进行预先设置，从而可以根据该目标类型预先设置对应的融合计算操作。

图1所示，为根据本公开的一种实施方式提供的用于语言模型的处理方法的流程图，如图1所示，所述方法包括：所述方法包括：

在步骤11中，在确定融合计算操作即将被执行时，电子设备的CPU向GPU发送包含多个计算操作的操作指令；

在步骤12中，响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

其中，相关技术中在执行语言模型中的计算操作时，通常将一个计算操作单独包装为一个算子，CPU将该算子发送至GPU，GPU通过读取显存中的数据到对应的寄存器中进行计算，之后将计算所得的计算结果写回显存。示例地，处于同一特征层的矩阵乘法A1和矩阵乘法A2之间包含计算操作B1、B2和B3，其计算过程如图2A所示。

基于相关技术中的方案，CPU会将计算操作B1、B2、B3分别包装为3个GPU计算操作，即CPU首先向GPU发送B1对应的操作指令，则GPU从显存中读取B1对应的数据至寄存器进行计算，从而将获得的结果写回显存。CPU向GPU发送B2对应的操作指令，则GPU从显存中读取B2对应的数据至寄存器进行计算，从而将获得的结果写回显存。CPU向GPU发送B3对应的操作指令，则GPU从显存中读取B3对应的数据至寄存器进行计算，从而将获得的结果写回显存。因此，在该过程中B1计算所得的数据不能直接用于B2的计算过程，需要先写回显存，之后再从显存中进行读取，从而会增加CPU的操作指令的调度开销，并且在每个GPU计算操作的中间会重复从显存中读取以及写回数据，这也会增加GPU重复读写显存的开销。

在本公开实施例的技术方案中，可以将计算操作B1、B2和B3合并为一个融合计算操作B，因此，基于本公开实施例的技术方案，CPU可以向GPU发送一次操作指令，该操作指令中包含该融合计算操作B，即包含操作B1、B2和B3，从而可以通过CPU的一次调度使得GPU可以执行多个计算操作，并且可以在执行该多个计算操作的过程中对显示读取和写回各一次，从而降低显存的读写次数。

由此，在上述技术方案中，语言模型被部署在电子设备中时，所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，从而可以在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。由此，通过上述技术方案，可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销，从而可以有效提高GPU的计算效率，进而提高语言模型的计算效率，从而有效降低基于语言模型进行文本处理的延迟，为保证基于语言模型进行处理的实时性提供支持。

其中，GPU在对计算操作进行处理时，GPU除去实际运算时间，显存中的数据传输通常也需要消耗时间，从而影响语言模型的处理效率。因此，本公开还提供以下实施例。

在一种可能的实施例中，所述语言模型对应的显存空间通过以下方式预先确定：

根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，例如该模型参数可以是特征层进行计算的权重参数等，以及所述参数信息还可以包括基于模型参数进行计算所对应的计算结果的数据长度，示例地，包含参数的特征层可以包括卷积层，全连接层，BatchNorm层，Embedding层等，即可以确定该特征层中对应的计算结果的数据长度。其中，在语言模型中通常固定设置基于模型参数进行计算能够获得的计算结果的标准数据长度，即不同输入数据下基于该模型参数进行计算所得的计算结果不同，但该计算结果的数据长度不会大于该模型参数对应的标准数据长度，因此，在该实施例中，基于模型参数进行计算所对应的计算结果的数据长度即用于表示基于模型参数进行计算时能够获得的计算结果的标准数据长度。

其中，该预设文本长度为预先设置的该语言模型可以接受的输入文本的最大长度，其可以根据实际使用场景进行确定，本公开实施例对此不进行限定。在确定出预设文本长度和参数信息后，则可以根据对应的编码方式确定出对应的空间使用量。示例地，一个参数矩阵的大小为10*10，如果采用fp32的编码方式计算，即采用4字节进行编码的方式，则该参数矩阵对应的空间使用量为400(10*10*4)byte。作为示例，可以将预设文本长度的文本对应的空间使用量和该语言模型中的各参数信息对应的空间使用量之和确定为该存储空间使用量。

之后，则可以从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。其中，显存中的空间的申请方式为本领域中的常规操作，在此不再赘述。

由此，通过上述技术方案，可以预先确定语言模型在计算处理过程中所需要的全部显存，从而实现显存的预先申请，无需在语言模型的计算过程中动态申请显存，可以有效减少计算过程中动态显存申请或者回收的额外开销，进一步提高GPU的运算效率，从而提高语言模型的处理效率。

在本公开的实施例中可以通过预先申请显存的方式避免计算过程中的动态申请，进一步地，为了避免显存过量申请导致的显存利用率降低，本公开还提供以下实施例。

在一种可能的实施例中，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算所得的计算结果对应于所述显存空间中的同一存储地址。其中，迭代特征层进行迭代计算所得的计算结果可以表示在该迭代特征层中基于该迭代特征层的输入数据和该迭代特征层中的模型参数进行计算所得的数据结果。

其中，在语言模型中通常会存在多个用于进行迭代计算的特征层，例如在GPT以及Transformer模型中存在多层的Transformer layer，该多层特征层叠加在一起形成该语言模型，其中第N层特征层的输入是第N-1层特征层的输出，每层特征层之间进行同样的计算操作，只是每一特征层进行计算操作对应的模型参数可能不同。因此，在本公开实施例中，该多个特征层的计算结果对应的存储空间可以相互复用，以达到显存利用的最大化。在本公开中，每个所述迭代特征层进行迭代计算所得的计算结果对应于所述显存空间中的同一存储地址，即第N层特征层的计算结果在存储时可以直接存储至第N-1层的计算结果的存储位置，以实现覆盖存储，从而可以有效提高显存的利用率，并且不会对计算过程中数据的准确性产生影响。相应地，在确定存储空间使用量时，该多个迭代特征层的计算结果所对应的空间使用量可以是其中任一计算结果对应的空间使用量，以使得N层的计算结果只使用1层的显存空间，从而保证预先申请的显存空间的准确性，避免显存空间申请过多导致的资源浪费，既可以提高访存速度，又可以提高显存利用率。

在一种可能的实施例中，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址。其中，编码器模块的计算结果用于表示在编码器模块中基于该编码器模块的输入数据和该编码器模块中的模型参数进行计算所得的数据结果。同样地，解码器模块的计算结果用于表示在解码器模块中基于该解码器模块的输入数据和该解码器模块中的模型参数进行计算所得的数据结果。

在该实施例中，语言模型中包括编码器模块和解码器模块，由于编码器模块的计算只进行一次，则之后解码器模块在迭代计算语言模型的概率信息时可以直接复用编码器模块的显存空间，即将解码器模块的计算结果直接存储至编码器模块的计算结果对应的存储空间中，实现数据的覆盖存储，从而可以实现两个模块的计算结果只用一个模块的计算结果对应的显存空间来存储，进一步提高显存的访存速度，同时保证对显存的有效利用。

在一种可能的实施例中，可以基于所述GPU中并行的多个处理线程对所述语言模型的输出结果进行排序，从而可以通过重复利用并行线程对语言模型的输出结果的采样进行加速，进一步提高语言模型的处理效率，为基于语言模型的输出结果进行后续处理提供准确的数据支持。

在一种可能的实施例中，为了进一步提高对语言模型的适应性，在对语言模型的部署阶段，可以将该语言模型的模型参数通过protobuf协议进行结构化表示，从而可以规范化模型结构和参数表达。从而可以提供标准的语言模型结构及参数表达，使得不同训练框架下的语言模型可以相互兼容使用。

本公开还提供一种文本生成方法，图3所示，为基于本公开的一种实施方式提供的文本生成方法的流程图，所述方法可以包括：

在步骤31中，接收待处理文本，其中该待处理文本可以是用户输入的用于进行文本生成的处理文本。

在步骤32中，将待处理文本输入语言模型，获得待处理文本对应的下一候选字符以及每一候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的。其中，语言模型的处理方法已在上文进行详述，在此不再赘述。

在该步骤中，可以将待处理文本输入语言模型，从而可以通过语言模型中的多个特征层进行计算处理，以对待处理文本的下一字符进行预测，从而获得待处理文本对应的下一候选字符以及每一候选字符对应的概率信息。

在步骤33中，对每一候选字符对应的概率信息进行排序，并基于排序的结果从候选字符中确定多个目标字符。

示例地，可以按照各个概率信息由大至小的顺序进行统一排序，并将排序前M的概率信息对应的候选字符确定为该目标字符。

在步骤34中，分别将每一目标字符拼接在待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

示例地，待处理文本为abcde，若确定出的目标字符分别为f

由此，通过上述技术方案，在基于待处理文本进行文本生成的过程中，基于语言模型对该待处理文本进行计算处理，且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销，从而可以有效提高GPU的计算效率，进而提高语言模型的计算效率，从而有效降低基于语言模型进行文本处理的延迟，从而可以提高该语言模型输出结果的实时性，提高文本生成的效率和准确性，贴合用户在线使用实时性的要求，提升用户使用体验。

在一种可能的实施例中，所述方法还可以包括：

针对每一拼接文本，确定拼接文本是否满足文本生成要求。其中，可以预先设置该文本生成要求，本公开对此不进行限定。在一种可能的实施例中，可以在拼接文本满足以下中的任一者时，确定该拼接文本满足文本生成要求：

第一种条件：该拼接文本中的最后一个字符为终止符，其中，该终止符可以是句号、问号、叹号等用于表示句子完整的符号，可以根据实际使用场景进行设置，该设置仅为示例性说明，不对本公开进行限定。

第二种条件：该拼接文本的长度达到终止长度，其中可以设置拼接文本的最大长度为终止长度，从而避免生成过长的拼接文本，不便于用户使用。

在拼接文本满足文本生成要求的情况下，将拼接文本确定为目标文本。

在该拼接文本满足文本生成要求时，表示该生成的拼接文本满足用户的使用需求，此时可以将该拼接文本作为目标文本，以便于后续向用户进行提示。

在所述拼接文本未满足所述文本生成要求的情况下，将所述拼接文本作为新的待处理文本，并重新执行所述将接收到的待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息的步骤32至所述分别将每一目标字符拼接在待处理文本的结尾，获得多个拼接文本的步骤34，以及针对每一拼接文本，确定拼接文本是否满足文本生成要求的步骤。

在该实施例中，针对每一拼接文本，在所述拼接文本未满足所述文本生成要求的情况下，则需要基于该拼接文本继续进行预测及拼接，从而可以重复执行上述步骤，以进一步获得多个目标文本，从而可以为用户提供更多的目标文本的可选择性，贴合用户的使用需求，提升用户使用体验。

在一种可能的实施例中，所述语言模型对应的显存空间通过以下方式预先确定：

根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；

从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。

在一种可能的实施例中，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算的计算结果对应于所述显存空间中的同一存储地址；

相应地，所述方法还包括：

在所述语言模型进行计算的过程中，针对每一所述迭代特征层，在该迭代特征层获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存储地址指示的空间中存储的当前内容进行覆盖。

在一种可能的实施例中，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址；

相应地，所述方法还包括：

在所述语言模型进行计算的过程中，在所述解码器模块获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存储地址指示的空间中存储的所述编码器模块的计算结果进行覆盖。

其中，上述过程的具体实现方式已在上文进行详述，在此不再赘述。

通过上述技术方案，可以进一步提高文本生成过程中对显存的访问效率和利用率，从而进一步提高文本生成的效率，保证文本生成的实时性。

在一种可能的实施例中，在步骤33中，对每一候选字符对应的概率信息进行排序，并基于排序的结果从候选字符中确定多个目标字符的示例性实现方式如下，如图4所示，该步骤可以包括：

在步骤41中，将每一候选字符的概率信息均匀分发至GPU的多个处理线程，以使得每一处理线程对该处理线程中的各个概率信息进行排序，其中，可以采用平均分发的算法将概率信息均匀分发至每一处理线程，则针对每一处理线程，其只需要对该处理线程中的各个概率信息进行排序，从而有效降低对各个概率信息进行排序所需要的时间。其中，每一处理线程可以采用现有的排序算法对其对应的概率信息进行排序，在此不再赘述。

在步骤42中，分别根据每一处理线程各自的排序结果从该处理线程中的各个概率信息中获取第一预设数量的概率信息，作为候选概率信息。

在步骤41中，每一处理线程可以按照概率信息由大至小的顺序对其对应的概率信息进行排序，则在该步骤42中，针对每一处理线程，可以将该线程的排序结果中处于前第一预设数量的概率信息确定为候选概率信息，即可以并发地从每一处理线程对应的概率信息中选择较大的概率信息作为候选概率信息，从而保证后续基于候选概率信息确定出的目标字符的准确性。

在步骤43中，将每一候选概率信息按照由大至小的顺序进行排序，将排位处于前第二预设数量的概率信息所对应的候选字符确定为目标字符，其中，所述第一预设数量和所述处理线程的数量的乘积大于或等于所述第二预设数量，即各个处理线程对应的候选概率信息之和大于所述第二预设数量，以保证可以获得足够的目标字符。

在该步骤中，在从每一处理线程中取出候选概率信息后，则可以基于该多个候选概率信息重新进行排序，以进一步基于排序结果确定目标字符。其中，在该过程中可以基于处理线程之间的快速寄存器算法进行排序，以确定出第二预设数量的概率信息。

作为示例，第一预设数量可以小于所述第二预设数量，从而既可以在一定程度上提高每一处理线程数据选择的效率，同时可以提高多个候选概率信息进行排序的效率，从而可以进一步提高确定目标字符的效率。

通过上述技术方案，可以通过多个并行的处理线程对概率信息进行排序，从而可以有效提高概率信息的排序效率，提高目标字符的确定效率，同时也可以在一定程度上保证确定出的目标字符的准确性。另外，在对候选概率信息进行排序时，由于每一处理线程对应的候选概率信息本身具有有序性，从而可以进一步提高对候选概率信息进行排序的效率，提高文本生成方法的处理效率和生成实时性。

在一种可能的实施例中，所述方法还可以包括：

从所述目标文本中确定显示文本，并输出所述显示文本，示例地，可以将该显示文本输出至显示界面，以向用户进行提示。

其中，从所述目标文本中确定显示文本可以包括：

从所述目标文本中随机选择第三预设数量的文本作为所述显示文本。其中，在本公开技术方案中，在确定目标文本的过程中本身是从候选字符中选择概率信息较大的字符进行预测拼接的，因此，可以直接从目标文本中随机选择部分文本作为显示文本对用户进行提示，使得针对于同一输入可以向用户提示不同的输出，从而提高对用户进行提示的多样性。

或者在另一实施例中，从所述目标文本中确定显示文本可以包括：

针对每一所述目标文本，根据该目标文本生成过程中生成的每一目标字符对应的概率信息，确定所述目标文本对应的优先级信息，并按照优先级信息由高至低的顺序选择第三预设数量的文本作为所述显示文本。

其中，可以将目标文本生成过程中生成的每一目标字符对应的概率信息之和确定为该优先级信息，从而基于该优先级信息对多个目标文本进行排序，并确定显示文本，从而可以将概率较大的目标文本进行优先显示，节省用户的查看时间，提升用户使用体验。

本公开还提供一种用于语言模型的处理装置，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，如图5所示，所述装置10包括：

发送模块101，用于在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；

处理模块102，用于响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

可选地，所述语言模型对应的显存空间通过以下方式预先确定：

根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；

从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。

可选地，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算所得的计算结果对应于所述显存空间中的同一存储地址。

可选地，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址。

可选地，基于所述GPU中并行的多个处理线程对所述语言模型的输出结果进行排序。

本公开还提供一种文本生成装置，如图6所示，所述装置20包括：

接收模块201，用于接收待处理文本；

输入模块202，用于将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；

排序模块203，用于对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；

拼接模块204，用于分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

可选地，所述装置还包括：

第一确定模块，用于针对每一所述拼接文本，确定所述拼接文本是否满足文本生成要求；

第二确定模块，用于在所述拼接文本满足文本生成要求的情况下，将所述拼接文本确定为所述目标文本；

第三确定模块，用于在所述拼接文本未满足所述文本生成要求的情况下，将所述拼接文本作为新的待处理文本，并触发所述输入模块执行所述将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，所述排序模块对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；所述拼接模块分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本；以及所述第一确定模块，针对每一所述拼接文本，确定所述拼接文本是否满足文本生成要求。

可选地，所述语言模型对应的显存空间通过以下方式预先确定：

根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；

从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。

可选地，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算的计算结果对应于所述显存空间中的同一存储地址；

所述装置还包括：

第一存储模块，用于在所述语言模型进行计算的过程中，针对每一所述迭代特征层，在该迭代特征层获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存储地址指示的空间中存储的当前内容进行覆盖。

可选地，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址；

所述装置还包括：

第二存储模块，用于在所述语言模型进行计算的过程中，在所述解码器模块获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存储地址指示的空间中存储的所述编码器模块的计算结果进行覆盖。

可选地，所述排序模块包括：

分发子模块，用于将每一所述候选字符的概率信息均匀分发至所述GPU的多个处理线程，以使得每一所述处理线程对该处理线程中的各个概率信息进行排序；

获取子模块，用于分别根据每一所述处理线程各自的排序结果从该处理线程中的各个概率信息中获取第一预设数量的概率信息，作为候选概率信息；

确定子模块，用于将每一所述候选概率信息按照由大至小的顺序进行排序，将排位处于前第二预设数量的概率信息所对应的候选字符确定为所述目标字符，其中，所述第一预设数量和所述处理线程的数量的乘积大于或等于所述第二预设数量。

可选地，所述装置还包括：

第四确定模块，用于从所述目标文本中确定显示文本，并输出所述显示文本；

其中，所述第四确定模块包括：

第一选择子模块，用于从所述目标文本中随机选择第三预设数量的文本作为所述显示文本；或者

第二选择模块，用于针对每一所述目标文本，根据该目标文本生成过程中生成的每一目标字符对应的概率信息，确定所述目标文本对应的优先级信息，并按照优先级信息由高至低的顺序选择第三预设数量的文本作为所述显示文本。

下面参考图7，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收待处理文本；将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，示例1提供了一种用于语言模型的处理方法，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述方法包括：

在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；

响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

根据本公开的一个或多个实施例，示例2提供了示例1的方法，其中，所述语言模型对应的显存空间通过以下方式预先确定：

根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；

从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。

根据本公开的一个或多个实施例，示例3提供了示例2的方法，其中，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算所得的计算结果对应于所述显存空间中的同一存储地址。

根据本公开的一个或多个实施例，示例4提供了示例2的方法，其中，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址。

根据本公开的一个或多个实施例，示例5提供了示例1-4中任一示例的方法，其中，基于所述GPU中并行的多个处理线程对所述语言模型的输出结果进行排序。

根据本公开的一个或多个实施例，示例6提供了一种文本生成方法，其中，所述方法包括：

接收待处理文本；

将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；

对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；

分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

根据本公开的一个或多个实施例，示例7提供了示例6的方法，其中，所述方法还包括：

针对每一所述拼接文本，确定所述拼接文本是否满足文本生成要求；

在所述拼接文本满足文本生成要求的情况下，将所述拼接文本确定为所述目标文本；

在所述拼接文本未满足所述文本生成要求的情况下，将所述拼接文本作为新的待处理文本，并重新执行所述将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息的步骤至所述针对每一所述拼接文本，确定所述拼接文本是否满足文本生成要求的步骤。

根据本公开的一个或多个实施例，示例8提供了示例6的方法，其中，所述语言模型对应的显存空间通过以下方式预先确定：

根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；

从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。

根据本公开的一个或多个实施例，示例9提供了示例8的方法，其中，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算的计算结果对应于所述显存空间中的同一存储地址；

所述方法还包括：

在所述语言模型进行计算的过程中，针对每一所述迭代特征层，在该迭代特征层获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存储地址指示的空间中存储的当前内容进行覆盖。

根据本公开的一个或多个实施例，示例10提供了示例8的方法，其中，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址；

所述方法还包括：

在所述语言模型进行计算的过程中，在所述解码器模块获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存储地址指示的空间中存储的所述编码器模块的计算结果进行覆盖。

根据本公开的一个或多个实施例，示例11提供了示例6的方法，其中，所述对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符，包括：

将每一所述候选字符的概率信息均匀分发至所述GPU的多个处理线程，以使得每一所述处理线程对该处理线程中的各个概率信息进行排序；

分别根据每一所述处理线程各自的排序结果从该处理线程中的各个概率信息中获取第一预设数量的概率信息，作为候选概率信息；

将每一所述候选概率信息按照由大至小的顺序进行排序，将排位处于前第二预设数量的概率信息所对应的候选字符确定为所述目标字符，其中，所述第一预设数量和所述处理线程的数量的乘积大于或等于所述第二预设数量。

根据本公开的一个或多个实施例，示例12提供了示例6-11中任一示例的方法，其中，所述方法还包括：

从所述目标文本中确定显示文本，并输出所述显示文本；

其中，从所述目标文本中确定显示文本包括：

从所述目标文本中随机选择第三预设数量的文本作为所述显示文本；或者

针对每一所述目标文本，根据该目标文本生成过程中生成的每一目标字符对应的概率信息，确定所述目标文本对应的优先级信息，并按照优先级信息由高至低的顺序选择第三预设数量的文本作为所述显示文本。

根据本公开的一个或多个实施例，示例13提供了一种用于语言模型的处理装置，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述装置包括：

发送模块，用于在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；

处理模块，用于响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。

根据本公开的一个或多个实施例，示例14提供了一种文本生成装置，所述装置包括：

接收模块，用于接收待处理文本；

输入模块，用于将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；

排序模块，用于对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；

拼接模块，用于分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。

根据本公开的一个或多个实施例，示例15提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-5中任一示例所述方法的步骤，或者该程序被处理装置执行时实现示例6-12中任一示例所述方法的步骤。

根据本公开的一个或多个实施例，示例16提供了一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-5中任一示例所述方法的步骤，或者实现示例6-12中任一示例所述方法的步骤。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。