问题解答方法、装置、电子设备和计算机可读存储介质

摘要

本发明实施例提出一种问题解答方法、装置、电子设备和计算机可读存储介质，涉及机器学习技术领域。该方法通过获取目标音频数据对应的文本特征向量，获取待解答问题对应的问题特征向量，将问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数，若输出参数表征对待解答问题进行解答，则将文本特征向量和问题特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。由于目标音频数据为用户输入的音频数据中的部分，不需要用整个音频数据对应的文本解答问题，故更容易找到关键特征，有效提升了问题解答的效率和准确率。

说明书

技术领域

本发明涉及机器学习领域，具体而言，涉及一种问题解答方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来，随着深度学习的发展，各种前沿技术被应用于日常生活中，在教育领域的应用尤为突出。人们想让答题机器人能像人一样去答题，帮助用户省去部分人工解答校验工作，为用户提供便利。

因此，如何提升问题解答的效率和准确率，成为本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种问题解答方法、装置、电子设备和计算机可读存储介质，以提升问题解答的效率和准确率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种问题解答方法，所述方法包括：

获取目标音频数据对应的文本特征向量；所述目标音频数据为用户输入的音频数据中的部分；

获取待解答问题对应的问题特征向量；

将所述问题特征向量和所述文本特征向量输入预先训练的深度强化学习模型，得到所述深度强化学习模型的输出参数；

若所述输出参数表征对所述待解答问题进行解答，则将所述文本特征向量和所述问题特征向量输入预先训练的神经网络模型，得到所述待解答问题对应的各选项的概率值，并将概率值最大的选项确定为所述待解答问题的答案。

在可选的实施方式中，所述音频数据包括多个音频片段，所述方法还包括：

若所述输出参数表征不对所述待解答问题进行解答，则将所述目标音频数据对应的下一个音频片段确定为新的目标音频数据，以便根据所述新的目标音频数据确定是否对所述待解答问题进行解答。

在可选的实施方式中，所述音频数据包括多个音频片段，所述将概率值最大的选项确定为所述待解答问题的答案的步骤之后，所述方法还包括：

若存在除所述待解答问题之外的其他待解答问题，则将所述目标音频数据对应的下一个音频片段确定为新的目标音频数据，并根据所述新的目标音频数据确定是否对所述待解答问题对应的下一个待解答问题进行解答，直到所有的待解答问题被解答完毕。

在可选的实施方式中，所述获取所述目标音频数据对应的文本特征向量的步骤包括：

将所述目标音频数据转换为文本数据，并获取所述文本数据对应的文本特征向量。

在可选的实施方式中，所述方法还包括：

获取所述目标音频数据对应的音频特征向量；

所述将所述问题特征向量和所述文本特征向量输入预先训练的深度强化学习模型，得到所述深度强化学习模型的输出参数的步骤包括：

将所述音频特征向量、所述问题特征向量和所述文本特征向量输入预先训练的深度强化学习模型，得到所述深度强化学习模型的输出参数；

所述若所述输出参数表征对所述待解答问题进行解答，则将所述文本特征向量和所述问题特征向量输入预先训练的神经网络模型，得到所述待解答问题对应的各选项的概率值的步骤包括：

若所述输出参数表征对所述待解答问题进行解答，则将所述音频特征向量、所述问题特征向量和所述文本特征向量输入预先训练的神经网络模型，得到所述待解答问题对应的各选项的概率值。

在可选的实施方式中，所述获取所述目标音频数据对应的音频特征向量的步骤包括：

对所述目标音频数据进行傅里叶变换，得到所述目标音频数据对应的音频特征向量。

在可选的实施方式中，所述输出参数包括第一参数和第二参数，所述第一参数为对所述待解答问题进行解答的概率值，所述第二参数为不对所述待解答问题进行解答的概率值；所述输出参数在所述第一参数大于所述第二参数的情况下表征对所述待解答问题进行解答。

第二方面，本发明提供一种问题解答装置，所述装置包括：

文本特征向量获取模块，用于获取目标音频数据对应的文本特征向量；所述目标音频数据为用户输入的音频数据中的部分；

问题特征向量获取模块，用于获取待解答问题对应的问题特征向量；

第一处理模块，用于将所述问题特征向量和所述文本特征向量输入预先训练的深度强化学习模型，得到所述深度强化学习模型的输出参数；

第二处理模块，用于若所述输出参数表征对所述待解答问题进行解答，则将所述文本特征向量和所述问题特征向量输入预先训练的神经网络模型，得到所述待解答问题对应的各选项的概率值，并将概率值最大的选项确定为所述待解答问题的答案。

第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述实施方式任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式任一项所述的方法。

本发明实施例提供的问题解答方法、装置、电子设备和计算机可读存储介质，通过获取目标音频数据对应的文本特征向量，获取待解答问题对应的问题特征向量，将问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数，若输出参数表征对待解答问题进行解答，则将文本特征向量和问题特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。由于目标音频数据为用户输入的音频数据中的部分，而不是整个音频数据，故利用该深度强化学习模型的输出参数判断是否对待解答问题进行解答，为神经网络模型提前过滤掉了冗余信息，不需要用整个音频数据对应的文本解答问题，更容易找到关键特征，从而更快更准确地找到答案，有效提升了问题解答的效率和准确率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的一种方框示意图；

图2示出了本发明实施例提供的问题解答方法的一种流程示意图；

图3示出了本发明实施例提供的问题解答方法的另一种流程示意图；

图4示出了本发明实施例提供的问题解答方法的又一种流程示意图；

图5示出了本发明实施例提供的问题解答方法的又一种流程示意图；

图6示出了本发明实施例提供的问题解答装置的一种功能模块图；

图7示出了本发明实施例提供的问题解答装置的另一种功能模块图。

图标：100-电子设备；600-问题解答装置；110-存储器；120-处理器；130-通信模块；610-文本特征向量获取模块；620-问题特征向量获取模块；630-第一处理模块；640-第二处理模块；650-音频特征向量获取模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在实现本发明实施例的技术方案的过程中，经发明人研究发现，目前深度学习在教育领域应用得比较多的是基于深度学习模型来实现机器阅读理解，没有针对输入为音频类的试题，尤其是听力试题中的长对话选择题(例如，听一篇2-5分钟的对话回答与该文相关的3-5个选择题)提出相应的解决方案。由于机器阅读理解是根据给定的文本信息来回答针对其提出的问题，故处理的都是文本信息，不适用于解答输入为音频类的试题；同时，由于机器阅读理解中问题的解答通常需要结合长距离上下文进行判断，冗长的文本输入会给模型增加噪声，从而对问题解答的效率和准确率造成一定影响。

基于对上述缺陷的研究，本发明实施例提出了一种问题解答方法、装置、电子设备和计算机可读存储介质，其针对输入为音频类的试题，尤其是听力试题中的长对话选择题，考虑到该类题型的特点，找准关键词比理解更为重要，通过选取用户输入的音频数据中的部分作为目标音频数据，并利用深度强化学习模型的输出参数判断是否对待解答问题进行解答，为神经网络模型提前过滤掉了冗余信息，不需要用整个音频数据对应的文本解答问题，故更容易找到关键特征，从而更快更准确地找到答案，有效提升了问题解答的效率和准确率，能够帮助教育者完成自动化阅卷，同时也为教育者在教学阶段提供解题方向和分析问题的思路。

下面将结合附图具体描述本发明中的各实施例。

请参照图1，是本发明实施例提供的电子设备100的一种方框示意图。该电子设备100可以为手机、平板电脑、PC(Personal Computer，个人计算机)等设备，其包括存储器110、处理器120及通信模块130。存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器110用于存储程序或者数据。存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。例如，处理器120执行存储器110中存储的计算机程序时，可以实现本发明实施例揭示的问题解答方法。

通信模块130用于通过网络建立电子设备100与其它通信终端之间的通信连接，并用于通过网络收发数据。

应当理解的是，图1所示的结构仅为电子设备100的结构示意图，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器120执行时可以实现本发明实施例揭示的问题解答方法。

请参照图2，为本发明实施例提供的问题解答方法的一种流程示意图。需要说明的是，本发明实施例提供的问题解答方法并不以图2以及以下的具体顺序为限制，应当理解，在其他实施例中，本发明实施例提供的问题解答方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该问题解答方法可以应用在图1所示的电子设备100中，下面将对图2所示的具体流程进行详细阐述。

步骤S201，获取目标音频数据对应的文本特征向量；目标音频数据为用户输入的音频数据中的部分。

在本实施例中，电子设备100获取用户输入的音频数据后，选取该音频数据中的部分作为目标音频数据，并获得目标音频数据对应的文本特征向量。其中，电子设备100可以将目标音频数据转换为文本数据，并获取文本数据对应的文本特征向量。

可选地，电子设备100可以将目标音频数据通过语音转文字转换为文本数据，然后通过词向量技术转化该文本数据，从而得到文本数据的向量表示，即文本特征向量。其中，词向量技术可以采用Word2Vec、ELMo等，本发明实施例对此不进行限定。

步骤S202，获取待解答问题对应的问题特征向量。

在本实施例中，用户输入的待解答问题为文本信息，故电子设备100可以通过词向量技术(例如，Word2Vec、ELMo等)转化该待解答问题，从而得到该待解答问题的向量表示。

需要说明的是，步骤S201和步骤S202可以并行执行，也可以不并行执行。当步骤S201和步骤S202并行执行时，可以提高答题效率。

步骤S203，将问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数。

在本实施例中，该深度强化模型可以采用DQN(Deep Q Network，深度Q网络)模型。DQN是深度强化学习中的一种技术，其本质为根据训练数据中的标签拟合一个神经网络，其功能为对序列中的状态进行打分。

在本实施例中，可以通过DQN模型判断文章是否该在此处截断用于回答当前未回答的问题。在一种实现方式中，DQN模型可以包括多个全连接层，在将问题特征向量和文本特征向量输入DQN模型后，通过各全连接层进行特征提取，最终得到DQN模型的输出参数，进而根据输出参数判断是否该在此处截断用于回答当前未回答的问题，即判断是否对该待解答问题进行解答。

可选地，输出参数包括第一参数和第二参数，第一参数为对待解答问题进行解答的概率值，第二参数为不对待解答问题进行解答的概率值；输出参数在第一参数大于第二参数的情况下表征对待解答问题进行解答。

也即是说，DQN模型的输出参数包括两个动作(即对待解答问题进行解答和不对待解答问题进行解答)的概率值，并执行概率值最大的动作。例如，当对待解答问题进行解答的概率值大于不对待解答问题进行解答的概率值，则执行解答该待解答问题的动作；当对待解答问题进行解答的概率值小于不对待解答问题进行解答的概率值，则执行不解答该待解答问题的动作。

步骤S204，若输出参数表征对待解答问题进行解答，则将文本特征向量和问题特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。

在本实施例中，该神经网络模型可以采用BiLSTM模型。BiLSTM即双向LSTM，其包括两个连续的LSTM层。当DQN模型的输出参数表征对待解答问题进行解答时，通过将文本特征向量和问题特征向量输入BiLSTM模型，可得到待解答问题对应的各选项的概率值，然后选择概率值最大的选项作为该待解答问题的答案。在实际应用中，该神经网络模型还可以采用其他网络结构，例如GRU等，本发明实施例对此不进行限制。

本发明实施例提供的问题解答方法，通过获取目标音频数据对应的文本特征向量，获取待解答问题对应的问题特征向量，将问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数，若输出参数表征对待解答问题进行解答，则将文本特征向量和问题特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。由于目标音频数据为用户输入的音频数据中的部分，而不是整个音频数据，故利用该深度强化学习模型的输出参数判断是否对待解答问题进行解答，为神经网络模型提前过滤掉了冗余信息，不需要用整个音频数据对应的文本解答问题，更容易找到关键特征，从而更快更准确地找到答案，有效提升了问题解答的效率和准确率。

可选地，用户输入的音频数据可以包括多个音频片段，例如，可以按照设定的数据长度将用户输入的音频数据划分为多个音频片段，则上述的目标音频数据可以为其中一个音频片段。请参照图3，本发明实施例提供的问题解答方法还可以包括：

步骤S301，若输出参数表征不对待解答问题进行解答，则将目标音频数据对应的下一个音频片段确定为新的目标音频数据，以便根据新的目标音频数据确定是否对待解答问题进行解答。

也即是说，当目标音频数据中包括的音频片段无法解答该待解答问题时，则需要重新选取目标音频数据，并重复上述步骤S201和S203，直到判定对待解答问题进行解答。

例如，假设用户输入的音频数据按照设定的数据长度可以划分为音频片段a1、音频片段a2、音频片段a3、音频片段a4、音频片段a5，电子设备100首先选取音频片段a1为目标音频数据，将待解答问题对应的问题特征向量和音频片段a1对应的文本特征向量输入预先训练的深度强化学习模型，若得到的输出参数表征不对待解答问题进行解答，表明不该在音频片段a1处做截断，则选取音频片段a1对应的下一个音频片段(即音频片段a2)作为新的目标音频数据，并将待解答问题对应的问题特征向量和该新的目标音频数据(即音频片段a2)对应的文本特征向量输入预先训练的深度强化学习模型，并根据深度强化学习模型的输出参数判断是否对待解答问题进行解答，若得到的输出参数仍表征不对待解答问题进行解答，则继续选取音频片段a3作为新的目标音频数据，直到判断对待解答问题进行解答。

可选地，在实际应用中，考虑到待解答问题的数量存在多个的情况，在找到某一个待解答问题的答案后，若当前还存在其他待解答问题，则需要对下一个待解答问题继续解答，直到所有问题都被解答完毕。请参照图4，本发明实施例提供的问题解答方法还可以包括：

步骤S401，若存在除待解答问题之外的其他待解答问题，则将目标音频数据对应的下一个音频片段确定为新的目标音频数据，并根据新的目标音频数据确定是否对待解答问题对应的下一个待解答问题进行解答，直到所有的待解答问题被解答完毕。

例如，假设用户输入的音频数据按照设定的数据长度可以划分为音频片段a1、音频片段a2、音频片段a3、音频片段a4、音频片段a5，用户输入的待解答问题包括问题Q1、问题Q2和问题Q3，电子设备100首先选取音频片段a1为目标音频数据，将问题Q1对应的问题特征向量和音频片段a1对应的文本特征向量输入预先训练的深度强化学习模型，若得到的输出参数表征对问题Q1进行解答，则将问题Q1对应的问题特征向量和音频片段a1对应的文本特征向量输入预先训练的神经网络模型，得到问题Q1对应的各选项的概率值，选择概率值最大的选项作为问题Q1的答案。在解答完问题Q1后，判断当前还存在其他待解答问题，则选取音频片段a1对应的下一个音频片段(即音频片段a2)为目标音频数据，并获取音频片段a2对应的文本特征向量和问题Q1对应的下一个待解答问题(即问题Q2)的问题特征向量，将音频片段a2对应的文本特征向量和问题Q2对应的问题特征向量输入预先训练的深度强化学习模型，并根据深度强化学习模型的输出参数判断是否对问题Q2进行解答，依次类推，直到问题Q1、问题Q2和问题Q3被解答完毕。

可选地，由于用户输入的是音频数据，为了进一步提高问题解答的准确率，可以结合音频特征和文本特征进行判断。请参照图5，本发明实施例提供的问题解答方法还可以包括：

步骤S501，获取目标音频数据对应的音频特征向量。

其中，电子设备100可以对目标音频数据进行傅里叶变换，得到目标音频数据对应的音频特征向量。

上述的步骤S203具体可以包括：子步骤S2031，将音频特征向量、问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数。

上述的步骤S204具体可以包括：子步骤S2041，若输出参数表征对待解答问题进行解答，则将音频特征向量、问题特征向量和文本特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。

可以理解，图5所示的问题解答方法与前述实施例的主要区别在于，在判断是否对待解答问题进行解答以及计算待解答问题对应的各选项的概率值的过程中，需要考虑目标音频数据本身的音频特征向量，以此减少音频转文字可能带来的误差。需要说明的是，步骤S501、步骤S201和步骤S202可以并行执行，也可以不并行执行，本发明实施例对此不进行限制。

本发明实施例提供的问题解答方法，通过获取目标音频数据对应的音频特征向量、目标音频数据对应的文本特征向量以及待解答问题对应的问题特征向量，并将音频特征向量、问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数；若输出参数表征对待解答问题进行解答，则将音频特征向量、问题特征向量和文本特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值。由于在解答问题过程中结合了音频特征和文本特征，故可以进一步提高问题解答的准确率。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种问题解答装置的实现方式。请参阅图6，图6为本发明实施例提供的一种问题解答装置600的功能模块图。需要说明的是，本实施例所提供的问题解答装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该问题解答装置600包括：文本特征向量获取模块610、问题特征向量获取模块620、第一处理模块630和第二处理模块640。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。

该文本特征向量获取模块610，用于获取目标音频数据对应的文本特征向量；目标音频数据为用户输入的音频数据中的部分。

其中，该文本特征向量获取模块610具体用于将目标音频数据转换为文本数据，并获取文本数据对应的文本特征向量。

可以理解，该文本特征向量获取模块610可以执行上述步骤S201。

该问题特征向量获取模块620，用于获取待解答问题对应的问题特征向量。

可以理解，该问题特征向量获取模块620可以执行上述步骤S202。

该第一处理模块630，用于将问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数。

可选地，该输出参数包括第一参数和第二参数，第一参数为对待解答问题进行解答的概率值，第二参数为不对待解答问题进行解答的概率值；输出参数在第一参数大于第二参数的情况下表征对待解答问题进行解答。

可以理解，该第一处理模块630可以执行上述步骤S203。

该第二处理模块640，用于若输出参数表征对待解答问题进行解答，则将文本特征向量和问题特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。

可以理解，该第二处理模块640可以执行上述步骤S204。

可选地，该音频数据包括多个音频片段，该第二处理模块640还可以用于若输出参数表征不对待解答问题进行解答，则将目标音频数据对应的下一个音频片段确定为新的目标音频数据，以便根据新的目标音频数据确定是否对待解答问题进行解答。

可以理解，该第二处理模块640还可以执行上述步骤S301。

可选地，该第二处理模块640还可以用于将概率值最大的选项确定为待解答问题的答案的步骤之后，若存在除待解答问题之外的其他待解答问题，则将目标音频数据对应的下一个音频片段确定为新的目标音频数据，并根据新的目标音频数据确定是否对待解答问题对应的下一个待解答问题进行解答，直到所有的待解答问题被解答完毕。

可以理解，该第二处理模块640还可以执行上述步骤S401。

可选地，请参照图7，该问题解答装置600还可以包括音频特征向量获取模块650，用于获取目标音频数据对应的音频特征向量。

其中，该音频特征向量获取模块650具体用于对目标音频数据进行傅里叶变换，得到目标音频数据对应的音频特征向量。

可以理解，该音频特征向量获取模块650可以执行上述步骤S501。

该第一处理模块630具体用于将音频特征向量、问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数。

该第二处理模块640具体用于若输出参数表征对待解答问题进行解答，则将音频特征向量、问题特征向量和文本特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。

本发明实施例提供的问题解答装置600，通过文本特征向量获取模块610获取目标音频数据对应的文本特征向量，该目标音频数据为用户输入的音频数据中的部分，通过问题特征向量获取模块620获取待解答问题对应的问题特征向量，第一处理模块630用于将问题特征向量和文本特征向量输入预先训练的深度强化学习模型，得到深度强化学习模型的输出参数，第二处理模块640用于若输出参数表征对待解答问题进行解答，则将文本特征向量和问题特征向量输入预先训练的神经网络模型，得到待解答问题对应的各选项的概率值，并将概率值最大的选项确定为待解答问题的答案。由于目标音频数据为用户输入的音频数据中的部分，而不是整个音频数据，故利用该深度强化学习模型的输出参数判断是否对待解答问题进行解答，为神经网络模型提前过滤掉了冗余信息，不需要用整个音频数据对应的文本解答问题，更容易找到关键特征，从而更快更准确地找到答案，有效提升了问题解答的效率和准确率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。