一种应用在税务问答系统的多轮智能问答交互方法

摘要

本发明提供一种应用在税务问答系统的多轮智能问答交互方法，属于自然语言处理领域。可以应用在任务驱动型问答系统中，协助用户完成任务。针对现有纳税人在咨询税务相关任务行问题时，使用该方法以获取更好的用户体验。该方法包括：构建实体抽取器，构建谓词抽取器，构建意图抽取器，构建对话记忆模块，上文历史对话与下文对话拼接，使用结合自注意力机制的Sequence to Sequence的模型处理。本发明的面向税务的多轮问答交互方法可以有效的提升税务方面问题回答的准确率。

说明书

技术领域

本发明涉及自然语言处理技术领域，具体而言，尤其涉及一种面向税务的多轮智能问 答交互方法。

背景技术

12366纳税服务热线是纳税人咨询税务问题的最主要途径。但由于纳税人众多、问题种 类也繁多复杂，导致客服人员的解答效率不高。且由于现有的智能问答系统使用基于单轮 对话的方法，无法捕捉到用户之前的问题，导致系统不能进一步根据提问者的问题给出相 应合适答案，进而加大了客服人员的工作负担，用户对系统的使用体验下降。

发明内容

根据以上提出的技术问题，并且基于现有的面向税务智能问答系统，提供了一种新的 可以应用在税务问答系统的多轮智能问答交互方法。

本发明采用的技术手段如下：

一种可以应用于税务智能问答系统的多轮问答算法。其中所述多轮问答算法模块包括：

实体抽取器：用于对用户的历史对话进行实体抽取，以便于为最后一次回答提供数据。

谓词抽取器：用于对用户的历史对话进行谓词抽取，以便于为最后一次回答提供数据。

意图抽取器：用于对根据本轮抽取得到的实体和谓词序列，预测用户提问的问题，为 下一个问题缩小答案范围。

对话记忆模块：用于将之前的实体抽取器，谓词抽取器，意图抽取器所获得的内容进 行保存，并且根据本轮中的实体，谓词和意图，采用自注意力机制进行计算。根据针对税务项目的实际考察，应用于税务的多轮问答算法，只保存三轮对话信息。

模型计算：用于对税务知识库中的问答数据采用Bert预训练模型完成的词向量和本轮 的实体抽取器，谓词抽取器，意图抽取器和对话记忆模块中的数据整合。

进一步地，系统在对话与回复的阶段，采用Sequence to Sequence结构，通过将对话 记忆模块中的整合数据和用户当前的问题进行编码，并且采用自注意力机制，从而得到更 加合适的答案。

进一步地，所述实体抽取器，意图抽取器，谓词抽取器，均采用BI-GRU编码，其编码过程如下：

重置门计算：输入为上一时刻的隐藏层状态h

r

更新门计算：输入为上一时刻的隐藏层状态h

z

得到门控信号之后，首先使用重置门控来得到“重置”之后的数据，h

更新记忆：在这个阶段，我们同时进行了遗忘了记忆两个步骤。我们使用了先前得到 的更新门控z。门控信号(这里的z)的范围为0～1。门控信号越接近1，代表记忆下来的数据越多，而越接近0则代表遗忘的越多。更新表达式为：

进一步地，所述对话记忆模块中的实体抽取器，谓词抽取器意图抽取器均采用自注意 力机制，其中每个词的注意力分数的计算过程如下：

在得到a之后，将的每个元素与a中对应的元素相乘后相加就可以得到最后句子的表示，这个过程中就对H中每个词的表示赋予了不同的权重，也就是施加了不同的注意力。

进一步地，所述结合了自注意力机制的Sequence to Sequence结构，输入为： X＝{x

较现有技术相比，本发明具有以下优点：

1、本发明提供的可以应用于税务问答系统的多轮问答算法，能够针对用户的问题，进 行实体抽取，谓词抽取，意图抽取，整合对话记忆，能够对用户的问题有更好的理解，能 够获取到历史实体谓词等信息，从而给用户更好的使用体验。

2、本发明的算法，基于现有的税务问答知识库，是封闭式问答场景，采用本算法后， 可以进一步提升问答准确率。

3、本发明的算法采用算法，紧贴当前自然语言处理研究热点，创新的将实体抽取器， 谓词抽取器，意图抽取器，并结合了自注意力机制的Sequence to Sequence模型，进一步提 升了模型的生成能力，使模型可以结合前几轮的信息来做出本轮对话的决策，进而在税务 问答任务上提升问答准确性，提升用户使用体验。

基于上述理由，本发明可在智能问答领域推广。

附图说明

图1为本发明的图1为本发明的结构图结构图。

图2为本发明中GRU单元的结构图。

图3为本发明中使用的自注意机制结构图。

图4为本发明中使用的Sequence to Sequence模型结构图。

具体实施方式

本发明以自然语言处理技术为基本，结合时下最新的深度学习方法，新提出一种模型， 用来提高问答准确率，避免出现答非所问等问题。能够有效的节省人力资源，减轻人工客 服负担，提升用户使用体验。同时，本发明能够满足政府深化改革、提升服务质量的需求， 是未来咨询服务的主要模式。

如图1所示，为了对用户的历史问题进行捕获，本发明主要提出了实体抽取器，谓词 抽取器，意图抽取器，对话记忆，和模型计算模块。

实体抽取器：用于对用户的历史对话进行实体抽取，以便于为最后一次回答提供数据。 例如：

用户第一问：印花税什么时候缴纳。

回答：按照纳税额记账时间确认缴纳时点。

用户第二问：可以分期吗？

实体抽取器在这里将用户第一问中的印花税实体抽取出来，以便于后面将用户第二问 “可以分期吗”补全为“印花税可以分期吗”。

谓词抽取器：用于对用户的历史对话进行谓词抽取，以便于为最后一次回答提供数据。 例如：

用户第一问：印花税什么时候缴纳。

回答：按照纳税额记账时间确认缴纳时点。

谓词抽取器在这里抽取用户第一问中的缴纳，以便于为最后一次回答提供回答方向。

意图抽取器：用于对根据本轮抽取得到的实体和谓词序列，预测用户提问的问题，为 下一个问题缩小答案范围。例如：

用户第一问：印花税什么时候缴纳。

回答：按照纳税额记账时间确认缴纳时点。

意图抽取器根据用户第一问关于印花税的问题，从知识库中筛选几个备选问题，比如 备选问题：印花税可以分期缴纳吗？等备选问题。

对以上三个抽取器，采用BI-GRU编码，具体计算方法如图2所示。在BI-GRU编码之后， 得到的向量为：

如图2所示，为单向GRU示意图。输入为上一时刻的隐藏层状态h

GRU计算分为重置门计算和更新门计算。

重置门计算：输入为上一时刻的隐藏层状态h

r

更新门计算：输入为上一时刻的隐藏层状态h

z

得到门控信号之后，首先使用重置门控来得到“重置”之后的数据，h

更新记忆：在这个阶段，我们同时进行了遗忘了记忆两个步骤。我们使用了先前得到 的更新门控z。门控信号(这里的z)的范围为0～1。门控信号越接近1，代表记忆下来的数据越多，而越接近0则代表遗忘的越多。更新表达式为：

本发明采用BI-GRU编码,由上所得为单向GRU编码

如图3所示，为自注意机制计算过程。

对话记忆模块中，对实体抽取器，谓词抽取器意图抽取器均采用自注意力机制，其中 每个词的注意力分数的计算过程如下：

在得到a之后，将的每个元素与a中对应的元素相乘后相加就可以得到最后句子的表示，这个过程中就对H中每个词的表示赋予了不同的权重，也就是施加了不同的注意力。

如图4所示，为本发明的Sequence to Sequence模型结构图。

由图可看出，该模型输入为X＝{x

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行 等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方 案的范围。