服务流程模型训练方法及服务流程生成方法

摘要

本发明提供了一种服务流程模型训练方法及服务流程生成方法，训练方法包括：获取文本数据集，所述文本数据集包括多个不同服务流程的描述文本；对各个所述描述文本中的实际事件词进行标注，获得第一训练集；采用所述第一训练集对预先建立的第一深度学习模型进行训练，获得所述事件抽取模型；对各个所述描述文本中每两个所述实际事件词之间的实际事件关系词进行标注，获得第二训练集；采用所述第二训练集对预先建立的第二深度学习模型进行训练，获得所述事件关系抽取模型。本发明的技术方案能够提高服务流程的制定效率和生成的服务流程的可靠性。

说明书

技术领域

本发明涉及服务设置技术领域，具体而言，涉及一种服务流程模型训练方法及服务流程生成方法。

背景技术

近年来，随着现代服务业的不断发展和进步，服务行业正在成为世界经济的重要组成部分，服务科学、服务管理和服务工程逐渐成为学术界和产业界的研究热点。

服务通常以流程的形式表现出来，在制定服务流程时，通常由服务流程制定者先研究服务的所需条件，根据所需条件制定服务流程的节点，最终根据节点和所需条件制定完整的服务流程。但是，由于服务流程制定者的主观因素和制定服务流程时缺乏规范的原因，相同的服务可能呈现出不同的服务流程。为了保证同一服务的服务流程尽量保持一致，服务流程制定者在制定服务流程时，会尽量参考已有的服务流程，例如城市服务流程制定者在制定城市服务流程时，通常会参考已有的城市服务流程。

但是，参考已有的服务流程来制定新的服务流程的过程中，仍然存在服务流程制定者主观因素的影响和缺乏规范化的问题，导致可能会出现服务冗余或流程错误等情况；而且服务流程制定过程中，通常需要人工针对每条服务流程进行逐条修改和校正，效率较低，工作量大。

发明内容

本发明解决的问题是如何提高服务流程的制定效率和生成的服务流程的可靠性。

为解决上述问题，本发明提供一种服务流程模型训练方法及服务流程生成方法。

第一方面，本发明提供的一种服务流程模型训练方法，服务流程模型包括事件抽取模型和事件关系抽取模型，方法包括：

获取文本数据集，所述文本数据集包括多个不同服务流程的描述文本；

对各个所述描述文本中的实际事件词进行标注，获得第一训练集；采用所述第一训练集对预先建立的第一深度学习模型进行训练，获得所述事件抽取模型；

对各个所述描述文本中每两个所述实际事件词之间的实际事件关系词进行标注，获得第二训练集；采用所述第二训练集对预先建立的第二深度学习模型进行训练，获得所述事件关系抽取模型。

可选地，所述第一深度学习模型包括触发词提取模型和论元提取模型，所述事件抽取模型包括训练好的触发词提取模型和训练好的论元提取模型，所述第一训练集包括多个对应的所述描述文本和所述实际事件词组成的第一数据对，其中，所述实际事件词包括所述服务流程中的实际触发词和实际论元，所述实际论元表示与所述服务流程中事件相关联的元素；

所述采用所述第一训练集对预先建立的第一深度学习模型进行训练包括：

对所述描述文本进行基于字的分词处理，获得字序列；

将所述字序列输入所述触发词提取模型，输出预测触发词；

基于预设的第一损失函数，根据所述预测触发词和对应的所述实际触发词校正所述触发词提取模型的参数，直至所述触发词提取模型的精度达到第一预设范围，获得所述训练好的触发词提取模型；

将所述字序列和所述实际触发词在所述字序列中的位置输入所述论元提取模型，输出预测论元；

基于预设的第二损失函数，根据所述预测论元和对应的所述实际论元校正所述论元提取模型的参数，直至所述论元提取模型的精度达到第二预设范围，获得所述训练好的论元提取模型。

可选地，所述触发词提取模型包括第一Bert模型、第一Mid-Linear层和第一指针标注网络，所述将所述字序列输入所述触发词提取模型，输出预测触发词包括：

将所述字序列输入所述第一Bert模型，通过所述第一Bert模型对所述字序列中的各个字符进行编码，输出第一编码序列；

将所述第一编码序列输入所述第一Mid-Linear层，执行位置序列生成步骤，输出触发词开始位置序列和触发词结束位置序列；

将所述触发词开始位置序列和所述触发词结束位置序列输入所述第一指针标注网络，执行位置确定步骤，确定触发词开始位置和触发词结束位置；

执行特定词提取步骤，根据所述触发词开始位置和所述触发词结束位置从所述字序列中提取所述预测触发词。

可选地，所述论元提取模型包括第二Bert模型、Conditinal-Layer Norm层、第二Mid-Linear层和第二指针标注网络，所述将所述字序列和所述实际触发词在所述字序列中的位置输入所述论元提取模型，输出预测论元包括：

将所述字序列输入所述第二Bert模型，通过所述第二Bert模型对所述字序列中的各个字符进行编码，输出第二编码序列；

将所述第二编码序列和所述实际触发词在所述字序列中的位置输入所述Conditinal-Layer Norm层，输出处理序列；

将所述处理序列输入所述第二Mid-Linear层，执行位置序列生成步骤，输出论元开始位置序列和论元结束位置序列；

将所述论元开始位置序列和所述论元结束位置序列输入所述第二指针标注网络，执行位置确定步骤，确定论元开始位置和论元结束位置；

执行特定词提取步骤，根据所述论元开始位置和所述论元结束位置从所述字序列中提取所述预测论元。

可选地，所述第二深度学习模型包括第三Bert模型、编码Concatenate层、第三Mid-Linear层和第三指针标注网络，所述第二训练集包括多个对应的所述描述文本和特征词组成的第二数据对，所述特征词包括任意两个所述实际事件词和对应的实际事件关系词；

所述采用所述第二训练集对预先建立的第二深度学习模型进行训练包括：

对所述描述文本进行基于字的分词处理，获得字序列；

将所述字序列输入所述第三Bert模型，通过所述第三Bert模型对所述字序列中的各个字符进行编码，获得第三编码序列；

将所述第三编码序列和任意两个所述实际事件词在所述第三编码序列中的位置输入所述编码Concatenate层，输出特征序列；

将所述特征序列输入所述第三Mid-Linear层，执行位置序列生成步骤，输出事件关系词开始位置序列和事件关系词结束位置序列；

将所述事件关系词开始位置序列和所述事件关系词结束位置序列输入所述第三指针标注网络，执行位置确定步骤，确定事件关系词开始位置和事件关系词结束位置；

执行特定词提取步骤，根据所述事件关系词开始位置和所述事件关系词结束位置从所述字序列中提取所述预测事件关系词；

基于预设的第三损失函数，根据所述预测事件关系词和对应的所述实际事件关系词校正所述第二深度学习模型的参数，直至所述第二深度学习模型的精度达到第三预设范围，获得所述事件关系抽取模型。

可选地，对各个所述描述文本中每两个所述实际事件词之间的实际事件关系词进行标注之后，还包括：

确定标注的各个所述实际事件关系词的关系类型，根据所述实际事件关系词和对应的所述关系类型构建事件关系词库，其中，所述关系类型包括顺序关系、并发关系和选择关系；

和/或，

所述根据所述事件关系词开始位置和所述事件关系词结束位置从所述字序列中提取所述预测事件关系词之后，还包括：

在预设的事件关系词库中确定所述预测事件关系词对应的关系类型。

可选地，所述执行位置序列生成步骤包括：

通过激活函数确定待处理的序列中各个元素位置的第一逻辑值和第二逻辑值，其中，所述激活函数包括Sigmoid函数，所述第一逻辑值表示对应的所述元素位置为特定词开始位置的概率，所述第二逻辑值表示对应的所述元素位置为特定词结束位置的概率；

根据各个所述元素位置的所述第一逻辑值生成特定词开始位置序列，根据各个所述元素位置的所述第二逻辑值生成特定词结束位置序列；

其中，所述待处理的序列包括第一编码序列、处理序列和特征序列，所述特定词开始位置序列包括触发词开始位置序列、论元开始位置序列和事件关系词开始位置序列，所述特定词结束位置序列包括触发词结束位置序列、论元结束位置序列和事件关系词结束位置序列。

可选地，所述执行位置确定步骤包括：

将各个所述元素位置的所述第一逻辑值分别和第一预设阈值进行对比，根据第一对比结果确定特定词开始位置；将各个所述元素位置的所述第二逻辑值分别和第二预设阈值进行对比，根据第二对比结果确定特定词结束位置；

其中，所述特定词开始位置包括触发词开始位置、论元开始位置和事件关系词开始位置，所述特定词结束位置包括触发词结束位置、论元结束位置和事件关系词结束位置。

可选地，所述执行特定词提取步骤包括：

基于预设规则，根据所述特定词开始位置和所述特定词结束位置从所述字序列中提取所有预测特定词；

根据所述特定词开始位置的所述第一逻辑值和所述特定词结束位置的所述第二逻辑值确定各个所述预测特定词的特定词逻辑值；

根据所述特定词逻辑值对所有所述预测特定词进行筛选，输出筛选后的预测特定词；

其中，所述预测特定词包括预测触发词、预测论元和预测事件关系词。

第二方面，本发明提供了一种服务流程生成方法，包括：

获取目标服务的目标描述文本；

将所述目标描述文本输入事件抽取模型，输出所述目标描述文本中的事件词；

重复执行事件关系词提取步骤多次，获得每两个所述事件词之间的事件关系词，其中，所述事件关系词提取步骤包括在所述目标描述文本中标注任意两个所述事件词的位置，将标注后的目标描述文本输入事件关系抽取模型，提取与两个所述事件词对应的所述事件关系词；

根据对应的每两个所述事件词和所述事件关系词生成所述目标服务的服务流程；

其中，所述事件抽取模型和所述事件关系抽取模型采用如第一方面任一项所述的服务流程模型训练方法训练得到。

可选地，所述事件词包括触发词和论元，所述事件抽取模型包括触发词提取模型和论元提取模型，所述将所述目标描述文本输入事件抽取模型，输出所述目标描述文本中的事件词包括：

对所述目标描述文本进行基于字的分词处理，获得字序列；

将所述字序列输入所述触发词提取模型，输出所述目标描述文本中的所述触发词；

将所述字序列和所述触发词在所述字序列中的位置输入所述论元提取模型，输出所述目标描述文本中与所述触发词对应的所述论元；

和/或

所述根据对应的每两个所述事件词和所述事件关系词生成所述目标服务的服务流程包括：

在预设的事件关系词库中确定所述事件关系词对应的关系类型，根据每两个所述事件词和对应的所述关系类型构建所述目标服务的流程图。

本发明的服务流程模型训练方法及服务流程生成方法的有益效果是：获取多个不同服务流程的描述文本，对各个描述文本中的实际事件词进行标注，获得多个描述文本和实际事件词组成的第一数据对，所有第一数据对组成第一训练集。对各个描述文本中每两个实际事件词之间的实际事件关系词进行标注，也就是对于任意一个实际事件词，标注出该实际事件词与其余各个实际事件词之间的实际事件关系词，获得多个描述文本和特征词组成的第二数据对，特征词可包括两个实际事件词和对应的实际事件关系词。采用第一训练集预先建立的第一深度学习模型，获得训练好的第一深度学习模型，即事件抽取模型，事件抽取模型用于抽取描述文本中的事件词。采用第二训练集训练预先建立的第二深度学习模型，获得训练好的第二深度学习模型，即事件关系抽取模型，事件关系抽取模型用于抽取描述文本中任意两个事件词之间的事件关系词。训练得到事件抽取模型和事件关系抽取模型在面对待处理的目标服务时，可以抽取出目标服务的描述文本中的事件词和事件关系词，组合对应的事件词和时间关系词，就可得到目标服务的服务流程。通过训练深度学习模型来自动生成服务流程，相较于人工制定服务流程，规范化程度更高，并且避免了人为主观因素的影响，提高了生成的服务流程的可靠性；同时，处理过程由电子设备完成，电子设备数据处理速度更快，降低了工作人员的工作量，提高了服务流程的制定效率。

附图说明

图1为本发明实施例的一种服务流程模型训练方法的流程示意图；

图2为本发明实施例的顺序关系的示意图；

图3为本发明实施例的并发关系的示意图；

图4为本发明实施例的选择关系的示意图；

图5为本发明实施例的一种触发词提取模型的结构示意图；

图6为本发明实施例的触发词开始位置序列和触发词结束位置序列的示意图；

图7本发明实施例的一种论元提取模型的结构示意图；

图8为本发明实施例的一种事件关系词提取模型的结构示意图；

图9为本发明另一实施例的一种服务流程生成方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模型或单元进行区分，并非用于限定这些装置、模型或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

标准化服务流程是生成服务流程的前提，本发明设计了一个简单的基础服务流程格式来实现服务流程模型的建模。服务流程是一种特殊的流程，其拥有流程的一些特性。流程通常由事件及事件关系组成，事件对应流程图上的点，事件关系对应流程图上的边。

示例性地，以政府部门的一段描述文本“财政局编制年度财政预算草案，同时，司法局管理司法行政工作”为例，对事件词和事件关系词做具体说明，其中，“财政局编制年度财政预算草案”和“司法局管理司法行政工作”为本是实施例中的事件词，“同时”为两个事件词之间的事件关系词。并且，以事件词“财政局编制年度财政预算草案”为例，其中“财政局”为事件的主实体，“年度财政预算草案”为事件的客实体，主实体和客实体均为论元，“编制”为触发词。

本发明的技术方案不仅可应用于城市服务流程，还可应用于其它服务流程。服务流程的点是事件，以城市服务流程为例，则事件为基础服务。事件包括事件的触发词和事件的论元，事件的论元指一切与该事件有关的元素，例如执行事件的主体和事件产生的条件等。基于上述服务流程的特性，本发明中，事件可划分为一个四元组，即(s，t，o，c)。

其中，s指的是subject，即事件的主实体，其为触发词的执行者，以城市服务流程为例，例如“林业部门”、“前台”等；t指的是事件的触发词trigger，通常为一个动作，例如“审核”、“办理”等；o指的是object，即客实体，为触发词的执行内容或载体，例如“受访者”、“申请表”；c指的是condition，即条件，该条件并不是指模型训练过程中触发词被触发的条件，而是指文本语义上，该服务事件。

服务流程中的边通常为有向边，代表一个事件到另一个事件的转移，通常具有表示两个事件之间事件关系的属性，事件关系包括：

顺序关系：如图2所示，一个事件B紧接着在一个事件A结束后执行，这样的事件关系称为顺序关系。

并发关系：后续会有两个或两个以上的事件同时进行，例如图3所示，事件A在执行完毕后会同时执行事件B和事件C，则事件B和事件C之间为并发关系。

选择关系：指两个及以上的事件中选择一个，与并发关系类似，但最终只会有一个事件被执行，例如图4所示，事件A结束后，事件B和事件C中只能有一个事件被触发，这样的事件关系成为选择关系。

如图1所示，本发明实施例提供的一种服务流程模型训练方法，服务流程模型包括事件抽取模型和事件关系抽取模型，方法包括：

步骤S110，获取文本数据集，所述文本数据集包括多个不同服务流程的描述文本。

示例性地，以城市服务流程为例，则获取多个不同城市的多个服务流程的描述文本，组成文本数据集。

步骤S120，对各个所述描述文本中的实际事件词进行标注，获得第一训练集；采用所述第一训练集对预先建立的第一深度学习模型进行训练，获得所述事件抽取模型。

可选地，所述第一深度学习模型包括触发词提取模型和论元提取模型，所述事件抽取模型包括训练好的触发词提取模型和训练好的论元提取模型，所述第一训练集包括多个对应的所述描述文本和所述实际事件词组成的第一数据对，其中，所述实际事件词包括所述服务流程中的实际触发词和实际论元，所述实际论元表示与所述服务流程中事件相关联的元素。

具体地，可通过人工标注和智能标注等方式对描述文本中的事件词和事件关系词进行标注，构建<描述文本，事件四元组>的数据对，事件四元组与实际事件词相对应，实际事件词包括实际触发词和实际论元，实际触发词对应事件四元组中的t，实际论元包括事件四元组中的主实体s、客实体o和条件c。

步骤S130，对各个所述描述文本中每两个所述实际事件词之间的实际事件关系词进行标注，获得第二训练集；采用所述第二训练集对预先建立的第二深度学习模型进行训练，获得所述事件关系抽取模型。

具体地，可通过人工标注和智能标注等方式对每个事件与其它事件之间的事件关系词进行标注。需要注意的是，标注时仅需要对有直接关系的事件对之间的事件关系词进行标注，但是在训练模型时，不仅采用具有事件关系词的事件来训练模型，也采用没有事件关系词的事件对构建负样本，来对模型进行训练，能够避免第二深度学习模型的过拟合。

本实施例中，获取多个不同服务流程的描述文本，对各个描述文本中的实际事件词进行标注，获得多个描述文本和实际事件词组成的第一数据对，所有第一数据对组成第一训练集。对各个描述文本中每两个实际事件词之间的实际事件关系词进行标注，也就是对于任意一个实际事件词，标注出该实际事件词与其余各个实际事件词之间的实际事件关系词，获得多个描述文本和特征词组成的第二数据对，特征词可包括两个实际事件词和对应的实际事件关系词。采用第一训练集预先建立的第一深度学习模型，获得训练好的第一深度学习模型，即事件抽取模型，事件抽取模型用于抽取描述文本中的事件词。采用第二训练集训练预先建立的第二深度学习模型，获得训练好的第二深度学习模型，即事件关系抽取模型，事件关系抽取模型用于抽取描述文本中任意两个事件词之间的事件关系词。训练得到事件抽取模型和事件关系抽取模型在面对待处理的目标服务时，可以抽取出目标服务的描述文本中的事件词和事件关系词，组合对应的事件词和时间关系词，就可得到目标服务的服务流程。通过训练深度学习模型来自动生成服务流程，相较于人工制定服务流程，规范化程度更高，并且避免了人为主观因素的影响，提高了生成的服务流程的可靠性；同时，处理过程由电子设备完成，电子设备数据处理速度更快，降低了工作人员的工作量，提高了服务流程的制定效率。

对描述文本中事件词提取的问题和数据特性进行分析，会发现以下特点：触发词可以在服务流程描述文本内的任意位置出现，使得对提取触发词的难度很大；每个触发词所对应的论元唯一，但同一主客实体可能对应不同的触发词，例如“县级以上部门”可能执行“办理”，同样也可能会执行“审核”，因此不仅要提取出(“县级以上部门”，“办理”，o

基于以上问题分析，本发明应用了概率图的思想来解决这些问题。可以将任务抽象为：输入服务流程的描述文本x，输出事件词，即事件四元组(s，t，o，c)。对事件四元组的抽取，可以转换为先对触发词进行抽取，然后利用触发词作为先验知识来提取论元(s，o，c)，即事件的主实体、客实体和条件。需要说明的是，可以根据贝叶斯公式将主实体和客实体展开，但是由于主实体、客实体和条件当中可能存在缺省值，缺省值会影响彼此的抽取，例如：若抽取的主实体s为“市汽车管理局”，其对抽取客实体o“机动车年检”有一定的帮助，因此将主实体、客实体和条件一起提取。

在对第一深度学习模型进行训练之前，可对获取的文本数据集和第一训练集进行处理和清理。

在数据处理部分可保留所有的数据对，即使是不含有触发词的描述文本或数据对也进行保留，因为虽然对于服务流程的每一步骤，触发词是构成事件的必要部分，但是不含有触发词的描述文本能为深度学习模型提供负样本，可以在一定程度上缓解深度学习模型的过拟合现象，进而提高模型的准确性。数据清理部分可删除第一训练集中的时间、地点等论元数据，因为具有时间、地点等信息的服务流程的样本较少，难以构建起具有足够数量的<描述文本，时间/地点>数据对的数据集，因此，可不考虑服务流程中的时间、地点等信息，仅考虑上文中所述的事件四元组。

可选地，所述第一深度学习模型包括触发词提取模型和论元提取模型，所述采用所述第一训练集对预先建立的第一深度学习模型进行训练包括：

步骤S121，对所述描述文本进行基于字的分词处理，获得字序列。

具体地，在数据处理部分还需要对描述文本进行分词，由于基于词的分词下，预期输出不一定为多个连续的分词后的词的连接，同时在服务流程领域中可能存在一些特定词和缩写词，语料库不一定完整覆盖了这部分词语，进而可能会导致OOV(out ofvocabulary,即超出词表外的词)现象的发生。因此，可基于Bert语料库的字进行分词，所需要提取的信息都包含在描述文本中，并且语料库几乎包括所有字，因此能够避免OOV现象的发生。并且，虽然在现有的自然语言处理的技术手段中，文本中的停用词对于文本的语义没有影响，例如“开心的女孩在跳舞”中的“的”字删掉后对于文本含义来说并没有发生变化，但在服务流程领域当中，停用词在一定程度上可以对文本语义表达提供帮助，并且还可能存在停用词在服务流程的事件四元组中的情况，例如“否则”会影响对于事件关系的抽取，“白沙市林业局”中的“白”属于实体中不可或缺的部分。

步骤S122，将所述字序列输入所述触发词提取模型，输出预测触发词。

步骤S123，基于预设的第一损失函数，根据所述预测触发词和对应的所述实际触发词校正所述触发词提取模型的参数，直至所述触发词提取模型的精度达到第一预设范围，获得所述训练好的触发词提取模型。

步骤S124，将所述字序列和所述实际触发词在所述字序列中的位置输入所述论元提取模型，输出预测论元。

步骤S125，基于预设的第二损失函数，根据所述预测论元和对应的所述实际论元校正所述论元提取模型的参数，直至所述论元提取模型的精度达到第二预设范围，获得所述训练好的论元提取模型。

具体地，触发词提取模型的第一损失函数和论元提取模型的第二损失函数均可采用BCELoss(Binary CrossEntropyLoss)函数。BCELoss为CrossEntropyLoss的一个特例，其适用于二分类问题，通常在使用时前面需要加上sigmoid作为激活函数。

本可选的实施例中，提取描述文本中的事件词时，先提取描述文本中的触发词，然后以提取的触发词的相关信息作为先验知识来提取描述文本中的论元，触发词可能与论元之间存在一定的语义关系，能够为论元的提取提供一定的帮助，进而能够提高提取的论元的准确性。

可选地，如图5所示，所述触发词提取模型包括第一Bert模型、第一Mid-Linear层和第一指针标注网络，所述将所述字序列输入所述触发词提取模型，输出预测触发词包括：

步骤S1221，将所述字序列输入所述第一Bert模型，通过所述第一Bert模型对所述字序列中的各个字符进行编码，输出第一编码序列。

具体地，Bert模型是一个与训练的语言表征模型，在自然语言处理领域的众多问题中能取得较好的成绩，是事件抽取领域的常用模型。Bert模型与常用的预训练模型的结构不同，得益于使用的深层双向Transformer组件，其不受单向语言模型对于模型表征能力的限制。编码过程中，可根据词库将字序列中的每个字符转换为一个整数，这个整数可由其在词库中的顺序或位置决定，然后通过预训练的第一Bert模型进行文本编码，获得第一编码序列。如图5所示，第一Bert模型的输入序列为描述文本“县级以上部门审批光荣院申请书”对应的字序列。

步骤S1222，将所述第一编码序列输入所述第一Mid-Linear层，执行位置序列生成步骤，输出触发词开始位置序列和触发词结束位置序列。

具体地，现有技术中在判断一句话当中是否存在特定词汇时，例如判断“天上有白色的云朵在飘”这句话中是否存在表示颜色的词语，将其输入分类器，分类器的输出为“0，0，0，1，1，0，0，0，0，0”，其中“1”的位置恰好对应了原始文本中“白色”所在的位置，但是这种方法无法得到多个特定词的位置，为了解决这一问题，本发明中采用Mid-Linear层和指针标注网络的方法来实现多个特定词的提取。

Mid-Linear层实际上为一个全连接层，其本质上用于实现“分类器”的作用。Mid-Linear层的输出为两个序列，即特定词的开始位置序列和结束位置序列，本实施例中对应触发词开始位置序列和触发词结束位置序列，开始位置序列标识了特定词的开始位置，结束位置序列标识了特定词的结束位置，以上述文本“天上有白色的云朵在飘”为例，则关于颜色的特定词的开始位置序列和结束位置序列分别为“0，0，0，1，0，0，0，0，0，0”和“0，0，0，0，1，0，0，0，0，0”，结合两个序列即可以提取出特定词“白色”。

可选地，所述第一Mid-Linear层的激活函数可采用Sigmoid函数，所述执行位置序列生成步骤，输出触发词开始位置序列和触发词结束位置序列包括：

通过激活函数确定第一编码序列中各个元素位置的第一逻辑值和第二逻辑值，所述第一逻辑值表示对应的元素位置为触发词开始位置的概率，所述第二逻辑值表示对应的元素位置为触发词结束位置的概率。

具体地，现有技术中Mid-Linear层通常使用argmax激活函数，但是该激活函数仅会将输入序列中的一个编码变为1，其余的编码都会变为0，无法确定多个特定词的位置。因此，本可选的实施例中使用sigmoid函数，其能输出每个元素位置为特定词位置的概率。

根据各个元素位置的所述第一逻辑值生成特定词开始位置序列，根据各个元素位置的所述第二逻辑值生成特定词结束位置序列。

具体地，可根据各元素位置的顺序将各个元素位置的第一逻辑值依次组合形成触发词开始位置序列，将各个元素位置的第二逻辑值依次组合形成触发词结束位置序列。

示例性地，如图6中的第一行序列为字序列，第二行序列为触发词开始位置序列，第三行序列为触发词结束位置序列，以字序列中字符“审”和“批”为例，“审”对应的第一逻辑值为0.9，表示字符“审”所在位置为触发词开始位置的概率为0.9，第二逻辑值为0，表示字符“审”所在位置为触发词结束位置的概率为0；字序列中“批”对应的第一逻辑值为0，第二逻辑值为0.8。

步骤S1223，将所述触发词开始位置序列和所述触发词结束位置序列输入所述第一指针标注网络，执行位置确定步骤，确定触发词开始位置和触发词结束位置。

具体地，由于触发词开始位置序列中标识了触发词在描述文本中的开始位置，触发词结束位置序列中标识了触发词在描述文本中的结束位置，结合触发词开始位置和触发词结束位置就可以从字序列或描述文本中提取出预测触发词。

可选地，所述执行位置确定步骤，确定触发词开始位置和触发词结束位置包括：

将各个元素位置的所述第一逻辑值分别和第一预设阈值进行对比，根据第一对比结果确定所述触发词开始位置；将各个元素位置的所述第二逻辑值分别和第二预设阈值进行对比，根据第二对比结果确定所述触发词结束位置。

具体地，将第一逻辑值和第一预设阈值进行对比，第二逻辑值和第二预设阈值进行对比，标记超过对应预设阈值的逻辑值对应的元素位置为触发词开始位置或结束位置，例如将超过对应预设阈值的逻辑值转换为1，标记方法在此不做限定，能够标识出所有触发词在描述文本的开始位置和输出位置，实现描述文本中多个触发词的抽取和变长度的触发词的抽取，提取出描述文本中的所有触发词。

示例性地，若第一预设阈值和第二预设阈值均设为0.7，则可确定图6中第一逻辑值0.9对应的字符“审”所在位置为触发词开始位置，第二逻辑值0.8对应的字符“批”所在位置为触发词结束位置。

步骤S1224，执行特定词提取步骤，根据所述触发词开始位置和所述触发词结束位置从所述字序列中提取所述预测触发词。

可选地，所述执行特定词提取步骤，根据所述触发词开始位置和所述触发词结束位置从所述字序列中提取所述预测触发词包括：

基于预设规则，根据所述触发词开始位置和所述触发词结束位置从所述字序列中提取所有所述预测触发词。

具体地，由于当描述文本中存在多个触发词时，指针标注网络无法准确确定触发词开始位置与触发词结束位置之间的对应关系，例如触发词开始位置A应该与触发词结束位置B相对应，即触发词开始位置A与触发词结束位置B之间的所有字符组成一个触发词，而触发词开始位置A和触发词结束位置C不对应。为了解决这一问题，通过对不同事件中触发词的分析，发现几乎所有事件中触发词的长度都不超过四个字符，即从触发词开始位置到触发词结束位置之间的字符不超过四个，因此可基于触发词长度不超过四个字符的规则，根据各个触发词开始位置和触发词结束位置从字序列中提取出满足该规则的所有预测触发词。

示例性地，结合图5和图6的内容，根据确定的触发词开始位置和触发词结束位置从字序列中提取出触发词“审批”。

根据所述触发词开始位置的所述第一逻辑值和所述触发词结束位置的所述第二逻辑值确定各个所述预测触发词的触发词逻辑值。

具体地，对于每个预测触发词，可将对应的触发词开始位置的第一逻辑值和触发词结束位置的第二逻辑值之和作为其触发词逻辑值，或者将对应的触发词开始位置到触发词结束位置之间所有字符的逻辑值之和作为其触发词逻辑值。

根据所述触发词逻辑值对所有所述预测触发词进行筛选，输出筛选后的预测触发词。

具体地，提取的所有预测触发词之间可能会存在字符重叠的情况，具体可根据各个预测触发词对应的触发词开始位置和触发词结束位置确定是否存在字符重叠的情况，例如：一个预测触发词为“审批”，假设其对应的触发词开始位置为A，触发词结束位置为B，另一个预测触发词为“批准”，其对应的触发词开始位置为B，触发词结束位置为C，两个预测触发词中的字符“批”重叠。比较相重叠的预测触发词的触发词逻辑值，触发词逻辑值越大表示对应的预测触发词越有可能为实际触发词，因此对于相重叠的预测触发词，选择触发词逻辑值较大的预测触发词，剔除触发词逻辑值较小的预测触发词，实现预测触发词的筛选处理，将筛选后的预测触发词作为触发词提取模型的输出。

本可选的实施例中，通过第一Bert模型对描述文本对应的字序列进行编码，相较于直接对字符进行处理，有利于后续处理，能够降低处理过程中的数据量，提高数据处理速度。通过第一Mid-Linear层对第一编码序列进行处理，生成触发词开始位置序列和触发词结束位置序列，能够标识出描述文本中的所有触发词所在的位置，根据该位置通过第一指针标注网络提取触发词，能够提取出描述文本中的所有触发词，并且剔除不符合要求的触发词，提高了提取得到的触发词的准确性。

可选地，如图7所示，所述论元提取模型包括第二Bert模型、Conditinal-LayerNorm层、第二Mid-Linear层和第二指针标注网络，所述将所述字序列和所述实际触发词在所述字序列中的位置输入所述论元提取模型，输出预测论元包括：

步骤S1241，将所述字序列输入所述第二Bert模型，通过所述第二Bert模型对所述字序列中的各个字符进行编码，输出第二编码序列。

具体地，第二Bert模型与触发词提取模型中的第一Bert模型可共享参数，也可不共享参数。不共享参数时，对两个Bert模型进行单独训练能够提升整个模型的预测效果，而两个Bert模型共享参数则可以缩减整个模型的规模，因此可根据实际情况具体选择。

步骤S1242，将所述第二编码序列和所述实际触发词在所述字序列中的位置输入所述Conditinal-Layer Norm层，输出处理序列。

具体地，增加Conditinal-Layer Norm层的想法来源于图像中常用的条件对抗生成网络，在Bert等Transformer模型中，主要的Normalization方法是LayerNormalization，因此可以通过改变输入条件中的参数β和γ来控制Transformer模型的生成行为。具体过程为使用训练好的触发词提取模型提取的触发词或实际触发词在经过了编码后的序列下标作为条件，该序列下表即实际触发词在字序列中的位置，将其与预训练模型下的参数β和γ进行运算，并叠加到描述文本输入第二Bert模型后输出的第二编码序列上，从而达到有针对性地强调字序列中特定信息的目的。

示例性地，图7中最上方数字组成的序列为第二编码序列，其中，编码0表示了实际触发词“审批”在第二编码序列中的位置。

步骤S1243，将所述处理序列输入所述第二Mid-Linear层，执行位置序列生成步骤，输出论元开始位置序列和论元结束位置序列。

可选地，所述执行位置序列生成步骤，输出论元开始位置序列和论元结束位置序列包括：

通过激活函数确定处理序列中各个元素位置的第一逻辑值和第二逻辑值，其中，所述激活函数包括Sigmoid函数，所述第一逻辑值表示对应的所述元素位置为论元开始位置的概率，所述第二逻辑值表示对应的所述元素位置为论元结束位置的概率；

根据各个所述元素位置的所述第一逻辑值生成论元开始位置序列，根据各个所述元素位置的所述第二逻辑值生成论元结束位置序列。

具体地，生成论元开始位置序列和论元结束位置序列的具体过程与上文中生成触发词开始位置序列和触发词结束位置序列的过程相似，在此不再赘述。

步骤S1244，将所述论元开始位置序列和所述论元结束位置序列输入所述第二指针标注网络，执行位置确定步骤，确定论元开始位置和论元结束位置。

可选地，所述执行位置确定步骤，确定论元开始位置和论元结束位置包括：

将各个所述元素位置的所述第一逻辑值分别和第一预设阈值进行对比，根据第一对比结果确定论元开始位置；将各个所述元素位置的所述第二逻辑值分别和第二预设阈值进行对比，根据第二对比结果确定论元结束位置。

具体地，确定论元开始位置和论元结束位置的具体过程与上文中确定触发词开始位置和触发词结束位置的过程相似，在此不再赘述。

步骤S1245，执行特定词提取步骤，根据所述论元开始位置和所述论元结束位置从所述字序列中提取所述预测论元。

可选地，所述执行特定词提取步骤，根据所述论元开始位置和所述论元结束位置从所述字序列中提取所述预测论元包括：

基于预设规则，根据所述论元开始位置和所述论元结束位置从所述字序列中提取所有预测论元；

根据所述论元开始位置的所述第一逻辑值和所述论元结束位置的所述第二逻辑值确定各个所述预测论元的论元逻辑值；

根据所述论元逻辑值对所有所述预测论元进行筛选，输出筛选后的预测论元。

具体地，提取论元的具体过程与上文中提取触发词的过程相似，在此不再赘述。预设规则可通过对不同事件中论元进行统计分析后得到，处理过程为现有技术，在此不再赘述。由于一个触发词对应一组论元，因此根据每个预测论元的逻辑值确定并输出最大逻辑值对应的预测论元为筛选后的论元。

本可选的实施例中，若预测论元与实际触发词越近，则表示该预测论元越有可能为该实际触发词对应的实际论元，因此结合实际触发词的先验知识能够提高论元提取的准确性。由于论元当中的条件c存在大量的缺省值，因此可不采用本方法对条件c进行提取，能够防止条件c对应的主实体s和客实体o的逻辑值稀疏化。得益于采用触发词的位置信息而不是文本信息作为触发词信息，即使一段描述文本中存在两个及以上相同的触发词，例如“办理X业务”和“办理Y手续”中的触发词文本信息“办理”相同，但是两者的位置不同，因此也能够有效区分相同文本信息的触发词，提高论元提取的准确性。

可选地，如图8所示，所述第二深度学习模型包括第三Bert模型、编码Concatenate层、第三Mid-Linear层和第三指针标注网络，所述第二训练集包括多个对应的所述描述文本和特征词组成的第二数据对，所述特征词包括任意两个所述实际事件词和对应的实际事件关系词。

所述采用所述第二训练集对预先建立的第二深度学习模型进行训练包括：

步骤S131，对所述描述文本进行基于字的分词处理，获得字序列。

具体地，该基于字的分词处理与上文中的处理过程相同，在此不再赘述。

步骤S132，将所述字序列输入所述第三Bert模型，通过所述第三Bert模型对所述字序列中的各个字符进行编码，获得第三编码序列。

具体地，第三Bert模型与上文中第一Bert模型和第二Bert模型的处理过程相似，在此不再赘述。

步骤S133，将所述第三编码序列和任意两个所述实际事件词在所述第三编码序列中的位置输入所述编码Concatenate层，输出特征序列。

具体地，可在第三编码序列中预先标注任意两个实际事件词的位置，然后将标注位置后的编码序列与第三编码序列做concatenate操作，将特征堆叠起来。

示例性地，图8中最上方序列为第三编码序列，其中“1”表示实际事件词在第三编码序列中的位置。

步骤S134，将所述特征序列输入所述第三Mid-Linear层，执行位置序列生成步骤，输出事件关系词开始位置序列和事件关系词结束位置序列。

可选地，所述执行位置序列生成步骤，输出事件关系词开始位置序列和事件关系词结束位置序列包括：

通过激活函数确定特征序列中各个元素位置的第一逻辑值和第二逻辑值，其中，所述激活函数包括Sigmoid函数，所述第一逻辑值表示对应的所述元素位置为事件关系词开始位置的概率，所述第二逻辑值表示对应的所述元素位置为事件关系词结束位置的概率；

根据各个所述元素位置的所述第一逻辑值生成事件关系词开始位置序列，根据各个所述元素位置的所述第二逻辑值生成事件关系词结束位置序列。

具体地，执行位置序列生成步骤的具体过程与上文中执行位置序列生成步骤的过程相似，在此不再赘述。

步骤S135，将所述事件关系词开始位置序列和所述事件关系词结束位置序列输入所述第三指针标注网络，执行位置确定步骤，确定事件关系词开始位置和事件关系词结束位置。

可选地，所述执行位置确定步骤，确定事件关系词开始位置和事件关系词结束位置包括：

将各个所述元素位置的所述第一逻辑值分别和第一预设阈值进行对比，根据第一对比结果确定事件关系词开始位置；将各个所述元素位置的所述第二逻辑值分别和第二预设阈值进行对比，根据第二对比结果确定事件关系词结束位置。

具体地，执行位置确定步骤的具体过程与上文中的执行位置确定步骤的过程相似，在此不再赘述。

步骤S136，执行特定词提取步骤，根据所述事件关系词开始位置和所述事件关系词结束位置从所述字序列中提取所述预测事件关系词。

可选地，所述执行特定词提取步骤，根据所述事件关系词开始位置和所述事件关系词结束位置从所述字序列中提取所述预测事件关系词包括：

基于预设规则，根据事件关系词开始位置和事件关系词结束位置从所述字序列中提取所有预测事件关系词；

根据所述事件关系词开始位置的所述第一逻辑值和所述事件关系词结束位置的所述第二逻辑值确定各个所述预测事件关系词的事件关系词逻辑值；

根据所述事件关系词逻辑值对所有所述预测事件关系词进行筛选，输出筛选后的预测事件关系词。

具体地，执行特定词提取步骤的具体过程与上文中的执行特定词提取步骤的过程相似，在此不再赘述。预设规则可通过对不同事件中事件关系词进行统计分析后得到，处理过程为现有技术，在此不再赘述。

步骤S137，基于预设的第三损失函数，根据所述预测事件关系词和对应的所述实际事件关系词校正所述第二深度学习模型的参数，直至所述第二深度学习模型的精度达到第三预设范围，获得所述事件关系抽取模型。

具体地，第三损失函数也可采用BCELoss函数，事件关系抽取模型即为训练好的第二深度学习模型，其模型结构相同。

可选地，对各个所述描述文本中每两个所述实际事件词之间的实际事件关系词进行标注之后，还包括：

确定标注的各个所述实际事件关系词的关系类型，根据所述实际事件关系词和对应的所述关系类型构建事件关系词库，其中，所述关系类型包括顺序关系、并发关系和选择关系。

具体地，顺序关系、并发关系和选择关系的具体说明如上文所述，例如“和”、“同时”等事件关系词表示的事件关系为并发关系。

可选地，所述根据所述事件关系词开始位置和所述事件关系词结束位置从所述字序列中提取所述预测事件关系词之后，还包括：

在预设的事件关系词库中确定所述预测事件关系词对应的关系类型。

本可选的实施例中，服务通常以流程图的形式进行展示，在事件关系词库中确定事件关系词的关系类型，即确定两个事件关系词(事件)之间的关系类型，例如两个事件为顺序关系、选择关系或并发关系，根据两个事件词和对应的关系类型就可构建出流程图，简单高效。

如图9所示，本发明另一实施例提供地一种服务流程生成方法，包括：

步骤S210，获取目标服务的目标描述文本；

步骤S220，将所述目标描述文本输入事件抽取模型，输出所述目标描述文本中的事件词；

步骤S230，重复执行事件关系词提取步骤多次，获得每两个所述事件词之间的事件关系词，其中，所述事件关系词提取步骤包括在所述目标描述文本中标注任意两个所述事件词的位置，将标注后的目标描述文本输入事件关系抽取模型，获得与两个所述事件词对应的所述事件关系词；

步骤S240，根据对应的每两个所述事件词和所述事件关系词生成所述目标服务的服务流程；

其中，所述事件抽取模型和所述事件关系抽取模型采用如上所述的服务流程模型训练方法训练得到。

本实施例中，可通过人工对待处理的目标服务进行文本描述，获得目标描述文本。通过训练得到的事件抽取模型提取目标描述文本中的事件词，然后每次在目标描述文本中标注任意两个事件词的位置，将标注位置后的目标描述文本输入事件关系抽取模型，获得该两个事件词对应的事件关系词，重复上述过程多次。最后将每两个事件词和对应的事件关系词进行组合，生成目标服务的服务流程。通过存储有事件抽取模型和事件关系抽取模型的电子设备进行数据处理，生成目标服务的服务流程，避免了人为主观因素的影响，规范化程度高，提高了生成的服务流程的可靠性，并且降低了工作人员的工作量，提高了制定效率。

可选地，所述事件词包括触发词和论元，所述事件抽取模型包括触发词提取模型和论元提取模型，所述将所述目标描述文本输入事件抽取模型，输出所述目标描述文本中的事件词包括：

对所述目标描述文本进行基于字的分词处理，获得字序列；

将所述字序列输入所述触发词提取模型，输出所述目标描述文本中的所述触发词；

将所述字序列和所述触发词在所述字序列中的位置输入所述论元提取模型，输出所述目标描述文本中与所述触发词对应的所述论元。

本可选的实施例中，触发词与论元之间存在一定的语义关系，先提取触发词，然后以触发词的相关信息作为先验知识来提取论元，能够提高论元提取的准确性。

可选地，所述根据对应的每两个所述事件词和所述事件关系词生成所述目标服务的服务流程包括：

在预设的事件关系词库中确定所述事件关系词对应的关系类型，根据每两个所述事件词和对应的所述关系类型构建所述目标服务的流程图。

本可选的实施例中，在事件关系词库中确定事件关系词的关系类型，即确定两个事件关系词(事件)之间为顺序关系、选择关系还是并发关系，根据关系类型可确定对应的两个事件关系词之间的数据流向，进而可构建出流程图，流程图能够提高目标服务的直观性。

本发明又一实施例提供的一种电子设备，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的服务流程模型训练方法或服务流程生成方法。

本发明又一实施例提供的一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的服务流程模型训练方法或服务流程生成方法。

现将描述可以作为本发明的服务器或客户端的电子设备，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

电子设备包括计算单元，其可以根据存储在只读存储器(ROM)中的计算机程序或者从存储单元加载到随机访问存储器(RAM)中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。