一种软件操作实景语义理解的语音互动方法、系统及平台

摘要

本发明公开了一种软件操作实景语义理解的语音互动方法、系统及平台，提取可互动操作软件的操作按钮的按钮信息，生成使用问题与帮助信息，生成互动帮助系统训练数据，预先构建基于软件操作实景语义理解的互动帮助模型；生成实景自然语言提问信息；将用户用自然语言提出的使用问题，生成基于实景的自然语言提问信息，采用深度学习的基于软件操作实景语义理解的互动帮助模型，输出各语义解析结果的排序得分；选取一个或多个语义解析结果作为用户问题理解结果，基于互动帮助模型为用户提供互动操作帮助。本发明提高了软件操作实景语义理解的可靠性和准确性，解决了用户使用一般帮助说明书不直观的问题，大大增强了用户使用产品良好的体验感。

说明书

技术领域

本发明涉及一种关于各类计算机、移动终端和各类电器的面向操作系统的基于语义理解的语音互动方法、系统及平台。

背景技术

目前的电子设备软硬件中软件是否方便使用决定了电子设备使用的方便性，用户在使用电子设备的软件时主要有三个问题：一是“不知道”某一软件是否有自己需要的功能，或是不知道有没有软件开发出了自己需要的功能；二是在软件中“找不到”所需功能按钮在哪里；三是知道某软件有自己需要的功能，也知道在哪里，但就是“不会用”或用不好。虽然软件都有帮助说明书，但理解说明书并查找功能等仍然与一个专业人士在身边指导操作的体验相距甚远，这三个问题极大影响了软件的使用效率，同时制约着软件的广泛普及。

自然语言作为人类表达自己思想最为方便、自然的方式，近年来，随着深度学习及谷歌自然语言处理模型bert的出现，自然语言已逐渐成为人机交互中最主流的方式，由于自然语言对话的多样性、复杂性、省略多以及与对话场景密切相关等特点，准确地理解对话内容一直是人工智能领域中研究的热点和难点；另外，在深度学习中，算力、算法和数据是其成功的关键，有效获得大量的训练数据也是一个难点，在软件使用互动帮助中，如何根据已有信息自动生成已标注好的训练数据，再结合其它实际使用中产生的数据和后期使用中积累的数据，然后建立大量的训练数据也是一个值得研究的问题。

总之，如何让电子设备在使用中准确理解用户的使用问题，并给出像专家在身边指导产品使用一样的良好体验，是人机交互中迫切需要解决的问题。

发明内容

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种基于软件操作实景语义理解的互动帮助方法和系统及其开发平台，以提高电器和电子设备中软件互动帮助的效率，增强用户使用产品的体验质量。

本发明是通过下述技术方案来实现的。

本发明的技术解决方案是：一种基于软件操作实景语义理解的互动帮助方法，包括以下步骤：

步骤1，提取可互动操作软件的操作按钮的按钮信息，生成使用问题与帮助信息，生成基于软件操作实景语义理解的互动帮助系统的训练数据；

步骤2，预先构建采用深度学习的基于软件操作实景语义理解的互动帮助模型；

步骤3，生成实景自然语言提问信息；

步骤4，将基于实景的自然语言提问信息输入采用深度学习的基于软件操作实景语义理解的互动帮助模型，输出各语义解析结果的排序得分；

步骤5，根据排序得分选取的一个或多个语义解析结果作为用户问题的理解结果，然后基于互动帮助模型为用户提供互动操作帮助。

其中按钮信息包括：按钮名字、按钮范围信息、按钮间的关系信息和按钮功能信息。

步骤1具体为：

步骤1-1，根据基于软件操作实景语义理解的互动帮助系统开发平台提取可互动操作软件操作按钮的按钮信息；

步骤1-2，基于按钮使用问题的知识，采用基于规则的方法或基于if-then的形式生成结合了实景信息的使用问题、用户意图与帮助信息的训练数据，生成软件按钮关系树；

步骤1-3，根据近义词库和所述结合了实景信息的使用问题、用户意图与帮助信息进一步生成训练数据；

步骤1-4，搜集所述可互动操作软件的其它用户使用问题及帮助信息，并进行标注，将其作为训练数据；

步骤1-5，将上述训练数据作为训练样本。

所述结合了实景信息的使用问题和实景自然语言提问信息、用户意图与帮助信息,所述结合方法将实景信息以自然语言省略恢复的形式作为所述提问信息的一部分，或以注意力机制的方式将实景信息作为所述提问信息的一部分。

步骤2具体为：

利用所述训练样本及所述帮助信息训练得到基于软件操作实景语义理解的互动帮助模型，模型采用任务型对话的形式，并在训练中将用户提问问题时的软件实景信息通过加权方式加入到训练模型中。

步骤3具体为：

步骤3-1，提取用户在使用可互动操作软件的自然语言提问信息；

提取软件当前实景信息表示的是：用户在使用软件中，包括软件名称、菜单栏所处的实际状态、屏幕尺寸及分辨率的信息；实景信息的获取使用操作系统、软件接口提供的“按钮信息”，或采用钩子方法(hook)、系统监听的方法或轮询调度的方法获得的按钮操作信息；

步骤3-2，将实景信息与自然语言提问信息组合生成实景自然语言提问信息，组合方法包括将实景信息以语言省略恢复的形式作为所述提问信息的一部分，或以注意力机制的方式将实景信息作为所述提问信息的一部分。

步骤4具体为：

将所述基于实景的自然语言提问信息输入采用深度学习的基于软件操作实景语义理解的互动帮助模型；输出各语义解析结果的排序得分，给出是结合实景的语义解析结果及其排序得分；

采用深度学习实现的任务导向型对话包括采用pipeline或end-to-end建立的对话系统；意图识别包括采用基于规则的意图识别、长短期记忆网络(LSTM)+attention的意图识别或基于BERT的意图识别。

步骤5具体为：

步骤5-1，根据排序得分选取的一个或多个语义解析结果作为用户问题的理解结果；

步骤5-2，基于互动帮助模型为用户提供互动操作帮助；互动帮助模型包括：

按钮位置查找帮助：基于可互动操作软件当前菜单状态的位置和按钮关系树给出需点击一个或多个按钮的依次提示；

按钮功能查询帮助：给出按钮功能介绍，包括文字、图片与视频介绍；

按钮怎么用帮助：组合按钮功能查询帮助和按钮位置查找帮助的实景结果进行介绍。

所述自然语言提问信息为语音信息或文本信息；对于语音信息，自然语言信息进行语义解析之前，通过语音识别将所述自然语言信息转换为文本信息。

本发明进而提供了一种基于软件操作实景语义理解的互动帮助系统开发平台，包括：

可互动软件按钮信息获取模块，用于利用可互动软件帮助系统开发人员获取按钮信息；其中按钮功能信息、按钮边框或顶点信息、当前按钮及其父按钮可在所述开发平台提供的菜单中由人工填写；

基于知识的实景自然语言提问信息-答案对生成模块，用于根据按钮信息，基于按钮使用问题，生成软件按钮关系树；进一步生成训练数据；生成根据近义词库和所述结合了实景信息的使用问题、用户意图与帮助信息进一步生成训练数据；将搜集到的所述可互动操作软件的其它用户使用问题及帮助信息进行标注，也将其作为训练数据,将所述训练数据作为训练样本；

基于软件操作实景语义理解的互动帮助模型构建模块，用于根据所述训练样本训练得到基于软件操作实景语义理解的互动帮助模型。

本发明还提供了一种基于软件操作实景语义理解的互动帮助系统，包括：

实景获取模块，用于获取实景信息包括软件名称、菜单当前状态信息；

实景自然语言提问信息生成模块，提取用户在使用可互动操作软件的自然语言提问信息；将实景信息与自然语言提问信息组合生成实景自然语言提问信息；

基于软件操作实景语义理解的互动帮助模块，采用基于深度学习任务导向型对话系统；用于理解用户的包含了实景信息的自然语言提问，并根据提问给出互动帮助，对按钮怎么用的帮助可组合按钮功能查询帮助和按钮位置查找帮助的实景结果进行介绍；

系统还包括：语音识别模块，用于在所述语义解析模块对所述自然语言信息进行语义解析之前，通过语音识别将所述自然语言信息转换为文本信息。

本发明由于采取以上技术方案，其具有以下有益效果：

本发明实施例提供的基于软件操作实景语义理解的互动帮助方法和系统及其开发平台，通过所述开发平台获取可互动操作软件的按钮信息，生成按钮关系及互动操作使用中的结合了实景信息的用户意图-问题-答案对，并结合其它使用中的帮助信息形成的训练样本训练使用深度学习的基于软件操作实景语义理解的互动帮助模型。

对用户输入的自然语言结合实景进行语义解析，得到一个或多个语义解析结果，再根据排序学习对多个语义解析结果进行排序，进而得到自然语言理解结果。

进一步地，本发明方案解决了一般采用深度学习方法存在的因缺少语义场景类型的理解错误，进而使整个自然语言理解系统进入无法挽回的错误问题，充分利用了实景语义解析结果信息，实现语义结果选取，最终得到自然语言理解结果，大大提高了自然语言理解的可靠性和准确性，并在理解的基础上提供高质量的互动帮助。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1是本发明实施例基于软件操作实景语义理解的互动帮助方法的一种流程图；

图2是本发明实施例基于软件操作实景语义理解的互动帮助系统开发平台的一种结构示意图；

图3是本发明实施例基于软件操作实景语义理解的互动帮助系统的一种结构示意图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1所示，是本发明实施例自然语言理解方法的一种流程图，包括以下步骤：

步骤111,提取可互动操作软件的互动操作按钮的按钮信息，进而生成使用问题与帮助信息，生成基于软件操作实景语义理解的互动帮助系统的训练数据。

按钮信息包括：按钮名字、按钮范围信息、按钮间的关系信息、按钮功能信息。按钮范围信息是指根据按钮边框或顶点信息所包含的范围及按钮范围在不同屏幕尺寸及分辨率的变换关系信息；按钮关系是指当前按钮及点击当前按钮出现的其它按钮(称为子按钮)之间的关系；按钮关系树是指可互动操作软件的按钮由父子按钮之间关系所形成的树状层次关系；按钮功能信息是指按钮功能的描述信息。按钮信息的获取不限于使用操作系统或软件接口提供的“按钮信息”，对于没有提供接口信息的软件可采用基于软件操作实景语义理解的互动帮助方法和系统及其开发平台获取相关信息。

在一个实施例中:要获得“word”软件里“字数统计”的按钮信息。首先需要启动“word”软件和基于软件操作实景语义理解的互动帮助方法和系统及其开发平台，将鼠标分别放在“字数统计”的按钮左上角和右下角，根据平台的提示操作即可获得按钮的范围信息，再人工填入按钮名“字数统计”、按钮父结点“审阅”按钮，然后填入功能信息和使用步骤，如果需要可以填入功能解释的图片信息和介绍使用方法的小视频。

根据基于软件操作实景语义理解的互动帮助系统开发平台提取可互动操作软件操作按钮的按钮信息，基于按钮使用问题的知识，生成结合了实景信息的使用问题、用户意图与帮助信息的训练数据，生成方法不限于采用基于规则的方法或基于if-then的形式，生成软件按钮关系树，按钮关系树是指可互动操作软件的按钮由父子按钮之间关系所形成的树状层次关系。在一个实施例中，实景信息是word软件的审阅菜单。

根据近义词库和结合了实景信息的使用问题、用户意图与帮助信息进一步生成训练数据。实景信息指的是可互动操作软件及软件菜单当前状态。

在一个实施例中“字数统计”的近义词描述可以是：字数算一下，或多少字算一下。

搜集可互动操作软件的用户其它使用问题及帮助信息，并进行标注，将其作为训练数据；在一个实施例中“字数统计”还可以描述为：算一下这部分内容的字数等。

其中，结合了实景信息的使用问题和实景自然语言提问信息、用户意图与帮助信息,结合方法不限于将实景信息以语言省略恢复的形式作为提问信息的一部分、或以注意力机制的方式将实景信息作为提问信息的一部分。

对于用户查询问题的输入序列INPUT1为：

INPUT1＝；

则结合实景输入序列INPUT2为：

INPUT2＝；

其中z为实景对应的内容，可为实景的省略恢复的对话内容，也可为实景经注意力机制处理后对应的内容。

将上述训练数据作为训练样本。

步骤112，利用训练样本训练，预先构建采用深度学习的基于软件操作实景语义理解的互动帮助模型。模型采用任务型对话的形式，并在训练中将用户提问问题时的软件实景信息通过加权方式加入到训练模型中。

采用深度学习实现的任务导向型对话不限于采用end-to-end还是pipeline建立的对话系统；意图识别不限于采用基于规则的意图识别，长短期记忆网络(LSTM)+attention的意图识别，基于BERT的意图识别。

步骤113，针对用户的提问，在具体使用中，需要生成实景自然语言提问信息，包括：

提取用户在使用可互动操作软件的自然语言提问信息；提取软件当前实景信息表示的是：用户在使用软件中，包括但不限于软件名称，菜单栏所处的实际状态，屏幕尺寸及分辨率的信息。

实景信息的获取不限于使用操作系统、软件接口提供的“按钮信息”或采用钩子方法(hook)、系统监听的方法和轮询调度的方法获得的按钮操作信息。

将实景信息与自然语言提问信息组合生成实景自然语言提问信息，组合方法包括将实景信息以语言省略恢复的形式作为提问信息的一部分，或以注意力机制的方式将实景信息作为提问信息的一部分。

需要说明的是，在实际应用中，自然语言信息可以是用户以文本输入的信息，也可以是用户以语音形式输入的信息，当然还可以同时包含文本信息和语音信息。如果用户所输入的自然语言信息中不仅有文本信息还有语音信息，或者所输入的自然语言信息均为语音信息，则还需要通过语音识别技术先将语音信息转换为对应的文本信息。

步骤114，将基于实景的自然语言提问信息输入所述采用深度学习的实景语义理解软件操作互动帮助模型，输出各语义解析结果的排序得分，给出是结合实景的语义解析结果及其排序得分。

本方案解决了一般采用深度学习方法存在的因缺少实景的理解错误，进而使整个自然语言理解系统进入无法挽回错误的问题，充分利用了实景语义解析结果信息，实现语义结果选取，最终得到基于软件操作实景自然语言理解结果，可以大大提高基于软件操作实景语义理解可靠性和准确性。

步骤115，根据排序得分选取的一个或多个语义解析结果作为用户问题的理解结果，然后基于互动帮助模型为用户提供互动操作帮助。

互动帮助模型包括但不限于：按钮位置查找帮助、按钮功能查询帮助和按钮怎么用帮助，其中：按钮位置查找帮助：基于可互动操作软件当前菜单状态的位置和按钮关系树给出需点击一个或多个按钮的依次提示。

按钮功能查询帮助：给出按钮功能介绍，不限于文字、图片与视频介绍。

按钮怎么用帮助：组合按钮功能查询帮助和按钮位置查找帮助的实景结果进行介绍。

经过采用深度学习的任务型对话处理后，其输出为：

OUTPUT1＝

输出序列中包含按钮操作命令。

本方案解决了用户使用一般帮助说明书不直观的缺点，结合实景的直观帮助大大增强了用户使用产品良好的体验感，提升了使用效率。

在使用中，在一个实施例1中：用户在word软件的开始菜单下，查询问题为：字数统计在哪里？则其实景为word软件的“开始”菜单，基于软件操作实景语义理解的互动帮助方法和系统提示信息包括：选中统计内容后依次提示点击审阅、字数统计按钮，提醒用户方法不限于在按钮位置高亮或闪烁或将当前鼠标直接放在按钮位置并语音或文字提醒用户。

在一个实施例2中：用户在word软件的“审阅”菜单下，查询问题同在实施例1，则其实景为word软件的“审阅”菜单，所述系统提示信息包括：选中统计内容后点击“字数统计”按钮。

相应地，本发明实施例还提供一种基于软件操作实景语义理解的互动帮助系统开发平台，如图2所示，是本发明实施例一种基于软件操作实景语义理解的互动帮助系统开发平台的一种结构示意图，该平台包括：

可互动软件按钮信息获取模块，如图2中201：用于利用科互动软件帮助系统开发人员获取按钮信息，按钮信息包括：按钮名字、按钮范围信息、按钮间的关系信息、功能信息。按钮功能信息是指按钮功能的描述信息，包括文字、图片和视频；按钮范围信息是指根据按钮边框或顶点信息所包含的范围及不同屏幕尺寸和分辨率的变换信息；按钮关系信息是指当前按钮与点击当前按钮出现的其它按钮(称为子按钮)之间的关系；其中按钮功能信息、按钮边框或顶点信息、当前按钮及其父按钮可在所述开发平台提供的菜单中由人工填写；

基于知识的实景自然语言提问信息-答案对生成模块202：用于根据按钮信息生成结合了实景信息的使用问题、用户意图与帮助信息的训练数据，生成软件按钮关系树；生成根据近义词库和所述结合了实景信息的使用问题、用户意图与帮助信息进一步生成训练数据；将搜集到的所述可互动操作软件的其它用户使用问题及帮助信息进行标注，也将其作为训练数据；将上述训练数据作为训练样本；所述按钮关系树是指所述可互动操作软件的按钮由父子按钮之间关系所形成的树状层次关系；实景信息指的是所述可互动操作软件及软件菜单当前状态；所述结合方法不限于将实景信息以自然语言省略恢复的形式作为所述提问信息的一部分、或以注意力机制的方式将实景信息作为所述提问信息的一部分；

基于软件操作实景语义理解的互动帮助模型构建模块203，用于根据所述训练样本训练得到基于软件操作实景语义理解的互动帮助模型。

相应地，本发明实施例还提供一种基于软件操作实景语义理解的互动帮助系统，如图3所示，是本发明实施例基于软件操作实景语义理解的互动帮助系统的一种结构示意图，该系统包括：

实景获取模块301：用于获取实景信息包括软件名称、菜单当前状态信息；

实景自然语言提问信息生成模块302：包括提取用户在使用可互动操作软件的自然语言提问信息；提取软件当前实景信息表示的是用户在使用软件中，包括但不限于菜单栏所处的实际状态，屏幕尺寸及分辨率的信息。将实景信息与自然语言提问信息组合生成实景自然语言提问信息；

基于软件操作实景语义理解的互动帮助模块303：采用基于深度学习任务导向型对话系统；用于理解用户的包含了实景信息的自然语言提问，并作软件当前菜单状态的位置和按钮关系树给出需点击一个或多个按钮的依次提示：按钮功能查询帮助：给出按钮功能介绍，不限于文字、图片与视频介绍；按钮怎么用帮助：组合按钮功能查询帮助和按钮位置查找帮助的实景结果进行介绍。

自然语言信息为语音信息或文本信息。

系统还包括：语音识别模块，用于在语义解析模块对自然语言信息进行语义解析之前，通过语音识别将所述自然语言信息转换为文本信息。

本发明采用上述方法能够提高基于软件操作实景语义理解可靠性和准确性，解决了用户使用一般帮助说明书不直观的问题，结合实景的直观帮助大大增强了用户使用产品良好的体验感。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。