响应用户语音执行包括呼叫的任务的电子装置及操作方法

摘要

电子装置包括麦克风、扬声器、触摸屏显示器、通信电路、至少一个处理器以及存储指令的存储器，指令在被执行时使得至少一个处理器：接收第一用户输入；识别服务提供方和具体服务；从菜单信息中选择与具体服务对应的第一菜单；尝试将呼叫连接到服务提供方；当连接到服务提供方的呼叫时，发送一个或更多应答直到到达与第一菜单对应的步骤；响应于到达第一菜单，确定服务人员是否连接；响应于联系服务人员已经完成，输出指示联系服务人员已经完成的通知；以及响应于接收到用于输出通知的第二用户输入，显示用于与服务提供方进行呼叫的屏幕。

说明书

技术领域

各种实施例涉及响应于用户语音而执行包括呼叫的任务的电子装置及其操作方法。

背景技术

随着技术的发展，已经出现了能够从用户接收语音以基于用户意图提供各种内容服务或者经由语音识别服务和语音识别接口在电子装置内执行特定功能的技术。语言理解是用于识别、应用和处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、询问应答、语音识别/合成等。

自动语音识别(ASR)可以允许接收输入的用户语音，从中提取声学特征向量，以及生成对应于输入的语音的文本。通过ASR，电子装置可以通过用户的直接输入来接收自然语言。自然语言是人类常用的语言，机器在没有额外分析的情况下不能直接理解自然语言。通常，语音识别系统中的自然语言理解(NLU)方法可以分为两种类型。第一种是通过被动语义级别语法(passive semantic-level grammar)理解口语的方法，另一种是理解与基于统计方法生成的语言模型定义的语义结构相关的词串的方法。

电子装置可以经由所描述的语音识别和自然语言处理向用户提供各种形式的基于语音的服务。

发明内容

技术问题

通过与服务人员的呼叫而提供各种服务的服务提供方可以在客户使用服务进行呼叫之后请求客户按下按钮以选择期望的服务，或者可以请求用户认证。服务提供方请求的过程可能花费过多的时间。联系服务人员的等待时间可能花费几分钟到几十分钟，这是对于客户使用服务而言是过长的时间。

根据本公开的电子装置可以在使用由服务提供方提供的服务方面减少用户的等待时间，并且可以允许用户流畅地使用该服务。根据本公开的电子装置可以处理用户的语音以便代表用户向服务提供方进行呼叫，按下用于选择期望服务的按钮，并且确定是否联系到服务人员，并且电子装置向用户提供通知。根据本公开的电子装置可以使用户能够使用电子装置的其他功能，直到联系到服务提供方的服务人员。

问题的解决方案

根据各种实施例的电子装置可以包括麦克风、扬声器、触摸屏显示器、通信电路、可操作地连接到麦克风、扬声器、触摸屏显示器和通信电路的至少一个处理器、以及可操作地连接到处理器的存储器，其中存储器存储指令，指令被配置为在被执行时使至少一个处理器：通过触摸屏显示器或麦克风接收第一用户输入；基于第一用户输入的至少一部分来识别服务提供方和具体服务；从包括由服务提供方提供的一个或更多具体服务的菜单信息中选择与具体服务对应的第一菜单；使用通信电路尝试将呼叫连接到服务提供方；当连接到服务提供方的呼叫时，响应于服务提供方提供的一个或更多语音提示，发送一个或更多应答直到到达与第一菜单对应的步骤；响应于到达第一菜单，基于由服务提供方发送的至少一个语音来确定是否联系到服务人员；响应于联系服务人员已经完成，使用扬声器或触摸屏显示器输出指示联系服务人员已经完成的通知；以及响应于接收到用于输出通知的第二用户输入，显示用于与服务提供方进行呼叫的屏幕。

根据各种实施例的电子装置可以包括：扬声器、触摸屏显示器、通信电路、可操作地连接到扬声器、显示器和通信电路的至少一个处理器、以及可操作地连接到处理器的存储器，其中存储器存储指令，指令被配置为在被执行时使至少一个处理器：执行呼叫应用；尝试使用通信电路将呼叫连接到服务提供方；在呼叫连接到服务提供方时，接收第一用户输入，请求连接到服务提供方的服务人员的待机模式，其中在待机模式中呼叫应用在后台执行；响应于第一用户输入，在待机模式下执行呼叫应用；在呼叫应用以待机模式执行的同时，基于服务提供方发送的语音，确定是否联系到服务人员；响应于联系服务人员已经完成，使用扬声器或触摸屏显示器输出指示联系服务人员已经完成的通知；以及响应于接收到用于输出通知的第二用户输入，终止待机模式。

根据各种实施例的电子装置可以包括通信电路、可操作地连接到通信电路的至少一个处理器、以及可操作地连接到处理器的存储器，其中存储器存储指令，指令被配置为当被执行时使得至少一个处理器：从外部电子装置接收对到服务提供方的呼叫连接的请求，该请求包括外部电子装置的用户信息以及与具体服务和服务提供方相关的至少一个关键字信息；响应于请求，获取与服务提供方进行呼叫连接的标识号；从包括由服务提供方提供的一个或更多具体服务的菜单信息中选择与包括在请求中的具体服务对应的第一菜单；尝试在外部电子装置和服务提供方之间连接呼叫；当连接到服务提供方的呼叫时，响应于服务提供方提供的一个或更多语音提示，发送一个或更多应答直到到达与第一菜单对应的步骤；响应于到达第一菜单，基于由服务提供方发送的至少一个语音来确定是否联系到服务人员；响应于与服务提供方的服务人员的连接的完成，使用通信电路向外部电子装置提供指示与服务提供方的服务人员的连接已经完成的信息；以及响应于接收到指示外部电子装置与服务提供方之间的呼叫已经被连接的消息，终止到服务提供方的呼叫连接。

发明的有益效果

根据各种实施例，可以提供一种能够响应于用户语音尝试将呼叫连接到外部电子装置的电子装置及其操作方法。

根据各种实施例的电子装置可以响应于用户语音在呼叫所连接的外部电子装置期间代表用户执行至少一个动作。

根据各种实施例的电子装置可以通过代表电子装置的用户将呼叫连接到呼叫中心并且在后台执行呼叫应用直到联系到呼叫中心的服务人员来改善用户体验。

附图说明

通过以下结合附图的详细描述，本公开的上述和其他方面、特征和优点将变得更加明显，其中：

图1示出了根据各种实施例的网络环境中的电子装置的框图；

图2示出了用于解释根据各种实施例的电子装置的操作方法的流程图；

图3示出了用于解释根据各种实施例的基于用户语音将呼叫连接到外部电子装置的过程的示意图；

图4示出了用于解释根据各种实施例的电子装置和服务提供方的操作的流程图；

图5示出了根据各种实施例的由服务提供方提供的菜单信息的树结构；

图6示出了用于解释根据各种实施例的由电子装置从服务提供方提供的菜单信息中选择与具体服务对应的菜单的操作的流程图；

图7示出了用于解释根据各种实施例的由电子装置响应于由服务提供方提供的一个或更多语音提示而发送应答的操作的示意图；

图8示出了用于解释根据各种实施例的由电子装置确定是否联系到服务人员的操作的流程图；

图9示出了用于解释根据各种实施例的由电子装置确定是否联系到服务人员的操作的流程图；

图10A示出了根据各种实施例的用于通过电子装置提供指示联系服务人员的通知的各种示意图；

图10b示出了根据各种实施例的用于通过电子装置提供指示联系服务人员的通知的各种示意图；

图11示出了用于解释根据各种实施例的检查电子装置的用户信息的操作的流程图；

图12示出了用于解释根据各种实施例的电子装置的操作方法的流程图；

图13示出了用于解释根据各种实施例的要联系服务人员的电子装置的待机模式的示意图；

图14示出了用于解释根据各种实施例的电子装置的操作方法的流程图；

图15A示出了用于解释根据各种实施例的服务器、电子装置和服务提供方的操作的流程图；

图15B示出了用于解释根据各种实施例的服务器、电子装置和服务提供方的操作的流程图；

图16示出了用于解释根据各种实施例的电子装置根据用户语音提供信息的示意图；

图17是示出根据各种实施例的集成智能系统的图；

图18是示出根据实施例的集成智能系统的用户终端的框图；

图19是示出根据实施例的用户终端执行智能应用的图；

图20是示出根据实施例的集成智能系统的服务器的框图；

图21是示出根据实施例的由路径自然语言理解(NLU)模块生成路径规则的方法的图；

图22是示出根据实施例的处理器的上下文模块收集当前状态的图；

图23是示出根据实施例的角色模块对用户信息的管理的图；以及

图24是示出根据实施例的建议模块的框图。

具体实施方式

在进行以下详细描述之前，阐述在本专利文件中使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”以及其派生词意味着包括但不限于；术语“或”是包含性的，是指和/或；短语“与…相关联”和“与其相关联”以及其派生词可以意指包括、被包括在内、与…互连、包含、被包含在内、连接到或与…连接、联接到或与…联接、可与…通信、与…协作、交错、并列、邻近、被绑定到或与…绑定、具有、具有…的性质等；并且术语“控制器”是指控制至少一个操作的任何设备、系统或其部分，这样的设备可以用硬件、固件或软件或者它们之中的至少两个的组合来实现。应当注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。

此外，下面描述的各种功能可以由一个或更多计算机程序来实现或支持，每个计算机程序由计算机可读程序代码形成，并包含在计算机可读介质中。术语“应用”和“程序”是指一个或更多计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除了有线、无线、光或其他通信链路，这些链路传输暂时性电或其他信号。非暂时性计算机可读介质包括可以永久存储数据的介质，以及可以存储数据并随后重写数据的介质，例如可重写光盘或可擦除存储设备。

在整个本专利文件中提供了某些词和短语的定义。本领域的普通技术人员应该理解，在许多情况下(如果不是大多数情况下)，这样的定义适用于这样定义的单词和短语的现有以及将来的使用。

下面讨论的图1至图24以及用于描述本专利文件中的本公开的原理的各种实施例仅仅是示例性的，而不应以任何方式解释为限制本公开的范围。所属领域的技术人员将了解，本发明的原理可实施于任何适当布置的系统或装置中。

图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多其他部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。

处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。

存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其他部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。

声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于来电。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。

天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

图2示出了用于解释根据各种实施例的电子装置的操作方法的流程图200。将参考图3更详细地描述图2的实施例。图3示出了用于解释根据各种实施例的基于用户语音将呼叫连接到外部电子装置的过程的示意图300。

在操作201中，电子装置101(例如，处理器120)可以通过触摸屏显示器(例如，输入设备150或显示设备160)或麦克风(例如，输入设备150)接收第一用户输入。第一用户输入可以包括通过使用电子装置101对外部电子装置进行呼叫的请求。例如，如图3所示，电子装置101可以通过使用麦克风150来接收用户语音301。电子装置101可以在触摸屏显示器310上显示一个或更多屏幕。电子装置101可以在触摸屏显示器310的至少一部分上显示用于接收用户语音301的执行屏幕320。电子装置101可以通过呼叫应用(本地呼叫应用)或增强呼叫应用来处理用户语音，并且用于接收用户语音301的执行屏幕320可以由本地呼叫应用或增强呼叫应用来显示。执行屏幕320可以包括指示正在执行收听的指示符321、OK图标322和文本显示窗口323。电子装置101可以激活麦克风150，并且可以显示例如指示正在执行收听的指示符321。电子装置101可以将作为处理用户语音301的结果而获取的文本或命令输入到文本窗口323中以显示文本或命令。当指定OK图标322时，电子装置101可以执行与文本显示窗口323内的文本或命令对应的任务。例如，电子装置101可以通过麦克风150接收用户语音301“How much is the Samsung Card payment this month(本月Samsung Card支付多少)？”。电子装置101可以在文本显示窗口323内显示指示“How much is the Samsung Cardpayment this month？”的文本，并且当选择OK图标322时，电子装置101可以执行包括在“How much is the Samsung Card payment this month？”中的任务。根据语音识别分析结果，电子装置101可以确认至少一个操作的多个任务，以达到以下步骤：执行呼叫应用，输入与Samsung Card对应的电话号码或者将呼叫连接到Samsung Card，以及在连接呼叫之后确认支付金额。例如，针对语音识别分析，电子装置101可以直接确认多个任务，或者可以从服务器108接收多个任务。在下文中，电子装置101对特定信息的确认可以被理解为基于从服务器108接收的信息对特定信息的确认。电子装置101可以响应于对OK图标322的选择而停止显示执行屏幕320。参照图3，根据显示执行屏幕320的停止，在显示执行屏幕320之前显示的至少一个屏幕可以显示在触摸屏显示器310上。例如，可以显示启动器应用的执行屏幕330。启动器应用的执行屏幕330可以包括用于执行至少一个应用的至少一个图标。

在操作203中，电子装置101可以基于接收到的第一用户输入来识别服务提供方和具体服务。服务提供方可以通过使用呼叫连接来提供一个或更多服务。例如，Samsung Card客户中心可以经由呼叫连接提供服务，例如卡申请、支付信息确认和卡挂失。具体服务可以是由服务提供方提供的一个或更多服务中的一个。例如，在用户输入“How much is theSamsung Card payment this month？”的基础上。电子装置101可以将“Samsung Card客户中心”识别为服务提供方，并且可以将“payment amount inquiry(支付金额查询)”识别为具体服务。电子装置101可以在关于多个服务提供方的信息中搜索与来自第一用户输入的具体服务或服务提供方相关的一个或更多关键字。例如，电子装置101可以从“How much isthe Samsung Card payment this month？”中提取“Samsung(三星)”、“Samsung Card(三星Card)”、“this month(本月)”、“payment(支付)”、“payment amount(支付金额)”或“howmuch(多少)”作为关键字。电子装置101可以通过使用关键字“Samsung Card”来将SamsungCard客户中心识别为服务提供方。电子装置101可以存储关于提供一个或更多服务的多个服务提供方的信息，或者可以从外部服务器108接收关于多个服务提供方的信息。示例101可以通过从多个服务提供方中选择匹配关键字“Samsung Card”的“Samsung Card客户中心”来识别服务提供方。电子装置101可以通过使用关键字“this month(本月)”、“paymentamount(支付金额)”或“how much(多少)”来将“支付金额查询”识别为具体服务。

在操作205中，电子装置101可以获取包括由所识别的服务提供方提供的一个或更多具体服务的菜单信息。电子装置101可以从所识别的服务提供方的菜单信息中选择与所识别的具体服务对应的第一菜单。例如，电子装置101可以响应于Samsung Card客户中心的菜单信息中的“支付金额查询”，从“个人会员信息查询”中选择支付金额项目。

在操作207中，电子装置101可以尝试将呼叫连接到所识别的服务提供方。电子装置101可以获取所识别的服务提供方的电话号码，并且可以通过使用该电话号码向服务提供方进行呼叫。电子装置101可以在后台经由呼叫应用或增强呼叫应用来连接呼叫。增强呼叫应用可以直接连接呼叫，或者可以通过执行呼叫应用来连接呼叫。例如，电子装置101可以尝试通过按下通过呼叫应用提供的、对应于与电话号码对应的数字的按钮来连接呼叫，而无需单独的用户输入。电子装置101可以不显示与呼叫连接相关的执行屏幕。当呼叫在后台中被连接时，电子装置101可以限制麦克风150和扬声器155的功能。

在操作209中，当与服务提供方的呼叫被连接时，电子装置101可以响应于服务提供方提供的一个或更多语音提示，发送一个或更多应答，直到达到与第一菜单对应的步骤。电子装置101可以从服务提供方接收语音提示，并且可以基于关于第一菜单的信息来发送与接收到的语音提示对应的应答。例如，电子装置101可以接收来自服务提供方的语音提示，诸如“个人会员请按1，或公司会员请按2”，并且可以发送按下按钮1的应答，其中，基于该应答可知第一菜单是“个人会员信息查询”中的支付金额项目。电子装置101可以顺序地接收多个语音提示，并且可以确定和发送对应于相应语音提示的应答。例如，电子装置101可以通过在由呼叫应用或增强呼叫应用提供的小键盘上选择至少一些数字来发送应答。

在操作211中，响应于到达第一菜单，电子装置101可以基于服务提供方发送的至少一个语音来确定是否联系到服务人员。服务提供方可以包括联系服务人员以便提供对应于第一菜单的服务，并且在呼叫连接之后当相应的菜单被选择时，服务提供方可以继续联系服务人员。当在选择相应的菜单之后不能立即联系到服务人员时，服务提供方可以请求等待直到联系到服务人员。服务提供方可以在联系服务人员的同时发送与待机状态有关的通知。当联系服务人员完成时，服务提供方可以发送服务人员的语音。电子装置101可以使用确定模型来确定由服务提供方发送的语音是服务人员的语音还是先前作为自动应答服务(ARS)存储的通知。

在操作213中，响应于联系服务人员已经完成，电子装置101可以通过触摸屏显示器310或扬声器155输出指示已经联系到服务人员的通知。例如，如图3所示，电子装置101可以在触摸屏显示器310的至少一部分上显示弹出窗口340。弹出窗口340可以包括指示已经联系到服务人员的文本。弹出窗口340可以包括用于联系服务人员的OK图标和用于取消联系服务人员的取消图标。电子装置101可以使用扬声器155输出指定的通知声音。电子装置101可以同时在弹出窗口340上显示通知消息并输出通知声音。

在操作215中，电子装置101可以响应于接收到用于输出通知的第二用户输入而显示用于与服务提供方进行呼叫的呼叫屏幕350。例如，响应于在图3的弹出窗口340中选择OK图标，电子装置101可以在触摸屏显示器310上显示用于与服务提供方进行呼叫的呼叫屏幕350。响应于接收到用于输出通知的第二用户输入，电子装置101可以释放麦克风150和扬声器155的功能限制。电子装置101可以显示呼叫屏幕350，可以通过麦克风150接收用户语音，并且可以通过扬声器155输出从服务提供方发送的语音。

图4示出了用于解释根据各种实施例的电子装置101和服务提供方450的操作的流程图400。在各种实施例中，电子装置101可以根据用户语音响应于对呼叫连接的请求将呼叫连接到服务提供方450。

在操作401中，电子装置101(例如，处理器120)可以显示用于接收用户输入的执行屏幕。执行屏幕可以显示用于接收用户语音的图标，或者可以显示用于接收文本输入的输入窗口。

在操作403中，电子装置101可以通过触摸屏显示器310或麦克风150接收第一用户输入。

在操作405中，电子装置101可以基于接收到的第一用户输入来识别服务提供方和具体服务。电子装置101可以通过从第一用户输入中提取一个或更多关键字来识别服务提供方和具体服务。例如，电子装置101可以通过选择与从第一用户输入提取的一个或更多关键字相匹配的服务提供方来从多个服务提供方的列表中识别服务提供方450。电子装置101可以从一个或更多关键字中选择一个关键字，并将所选择的关键字识别为具体服务。

在操作407中，电子装置101可以获取服务提供方450的菜单信息。服务提供方450的菜单信息可以从电子装置101的存储器130获取，或者可以从外部服务器108获取。

在操作409中，电子装置101可以从服务提供方450的菜单信息中选择与具体服务对应的第一菜单。

在操作411中，电子装置101可以从所识别的服务提供方450请求呼叫连接。

在操作413中，服务提供方450可以响应于来自电子装置101的呼叫连接请求而允许与电子装置101的呼叫连接。

在操作415中，可以在电子装置101和服务提供方450之间建立呼叫连接。

在操作417中，服务提供方450可以基于菜单信息顺序地发送确定的语音提示。例如，在建立呼叫连接之后，服务提供方450可以发送语音提示“请输入您的移动电话号码”，其被配置为在菜单信息中具有最高优先级。服务提供方450可以识别发起呼叫的电子装置101的用户。

在操作419中，电子装置101可以接收语音提示，并且可以发送与接收到的语音提示对应的应答。例如，电子装置101可以响应于语音提示，例如“请输入您的移动电话号码”，执行顺序地按下与电子装置101的电话号码对应的按钮的动作。电子装置101可以基于第一菜单的信息来确定与接收到的语音提示对应的应答，并且可以发送所确定的应答。

在操作421中，服务提供方450可以基于接收到的应答来确定是否已经到达第一菜单。第一菜单可以提供包括联系服务人员的服务。响应于到达第一菜单，服务提供方450可以尝试联系服务人员。由于资源有限，可能花费时间来完成联系服务人员。服务提供方450可以根据接收到的应答向电子装置101发送语音提示，直到到达第一菜单。例如，服务提供方450可以重复操作417，直到到达第一菜单。

在操作423中，服务提供方450可以发送语音。当试图联系服务人员时，服务提供方450可以发送指示用于联系服务人员的待机状态的语音提示。这里，语音提示可以是先前作为ARS存储的声明。该声明可以由机器生成。服务提供方450可以响应于联系服务人员的完成而发送服务人员的语音。服务人员可以是人，并且服务人员的语音可以不同于机器生成的语音。

在操作425中，电子装置101可以基于接收到的语音来确定是否联系到服务人员。电子装置101可以使用用于服务人员语音的确定模型来检查与所接收的语音的相关性，并且当相关性具有高于阈值的值时，可以根据检查的结果来确定所接收的语音信号是服务人员语音。例如，电子装置101可以使用通过对具有服务人员语音标签的多个预先存储的音频信号执行深度学习而生成的深度学习模型作为确定模型。电子装置101可以将接收到的语音与深度学习模型进行比较，以便确定是否联系到服务人员。

在操作427中，如果联系到服务人员，则电子装置101可以输出指示已经建立与服务人员的联系的通知。例如，电子装置101可以通过触摸屏显示器310输出指示已经建立与服务人员的连接的文本，或者可以输出被指定用于指示与服务人员的联系的通知声音。

在操作429中，电子装置101可以响应于所输出的通知接收第二用户输入。例如，电子装置101可以通过触摸屏显示器310接收用于选择另外显示在输出的文本窗口中的OK图标的第二用户输入。

在操作431中，电子装置101可以显示与服务提供方450进行呼叫的呼叫屏幕。电子装置101可以显示呼叫屏幕，可以通过扬声器155输出从服务提供方450发送的语音信号，并且可以通过麦克风150接收用户语音。

图5示出了根据各种实施例的用于由服务提供方提供的菜单信息的树结构500。电子装置101(例如，处理器120)可以以树结构存储由服务提供方(例如，图4中的服务提供方450)提供的菜单信息，或者可以从外部服务器108接收菜单信息。例如，假定服务提供方450是Samsung Card客户中心501。图5是指示通过与Samsung Card客户中心501的呼叫连接而提供的多个服务的菜单信息的树结构。用于菜单信息的树结构中的根节点可以指示服务提供方450。参照图5，Samsung Card客户中心501可以是根节点。Samsung Card客户中心501可以为个人会员提供服务并且为公司会员提供服务，并且个人502和公司503可以作为菜单信息的树结构中的根节点的子节点被包括。Samsung Card客户中心501可以向个人会员提供用于卡挂、信息查询、信息更改、卡注销、卡申请和联系服务人员的服务。每个服务是指示个人会员的个人502的子节点，并且可以作为卡挂失504、信息查询505、信息更改506、卡注销507、卡申请508或联系服务人员509被包括在用于菜单信息的树结构中。

图6示出了用于解释根据各种实施例的由电子装置从由服务提供方提供的菜单信息中选择与具体服务对应的菜单的操作的流程图600。电子装置101(例如，处理器120)可以通过使用包括在用户语音中的一个或更多关键字来识别服务提供方(例如，服务提供方450)和具体服务。例如，当接收到用户语音“Apply to Samsung Card for a new card(向Samsung Card申请新卡)”时，电子装置101可以提取关键字，例如“Samsung Card”、“newcard(新卡)”和“Apply for card(申请卡)”。电子装置101可以基于关键字“Samsung Card”将Samsung Card客户中心(例如，图5中的Samsung Card客户中心501)识别为服务提供方450，并且可以基于关键字“new card(新卡)”和“Apply for card(申请卡)”将新卡发布识别为具体服务。电子装置101可以在服务提供方450的具有树结构的菜单信息中执行与具体服务的匹配。例如，电子装置101可以针对Samsung Card客户中心501的菜单信息在树结构中选择与具体服务对应的节点。将参考图5中的Samsung Card的菜单信息的树结构500来描述图6的操作。

在操作601中，电子装置101可以在菜单信息树结构500中将节点信息与具体服务进行比较。例如，参考图5，电子装置101可以将新卡发布与图5中包括的每个节点的信息进行比较。例如，当比较新卡发布和卡挂失节点504时，电子装置101可以确定该比较不会取得匹配。当比较新卡发布、卡申请节点508和新卡节点513时，电子装置101可以确定该比较取得与新卡节点513的匹配。电子装置101可以确定存在一个或更多匹配叶节点。

在操作603中，电子装置101可以确定作为匹配的结果是否存在一个匹配叶节点。例如，电子装置101可以确定新卡节点513与新卡发布匹配，并且新卡节点513可以对应于叶节点。

在操作605中，电子装置101可以将一个匹配叶节点确定为用于具体服务的菜单。电子装置101可以将新卡节点513确定为Samsung Card客户中心501的菜单。图5仅仅是一个示例，菜单信息可以根据服务提供方450而变化。

在操作607，电子装置101可以确定作为匹配的结果是否存在两个匹配叶节点。当具体服务是支付日期确认时，电子装置101可以将两个叶节点匹配到支付日期节点510和支付日期节点511。

在操作609中，电子装置101可以响应于确定已经找到了两个或更多匹配叶节点，来选择从其中分支出叶节点的中间节点中的一个。电子装置101可以识别两个或更多叶节点的祖先节点，可以从祖先节点中选择两个或更多叶节点从其被分支的中间节点，并且可以从所选择的中间节点中选择一个。电子装置101可以基于用户输入从中间节点中选择一个。电子装置101可以显示中间节点的信息，以便请求用户输入。例如，当账户查询项目与两个叶节点匹配，并且两个叶节点从其中分支的中间节点是个人信息更改项目和支付信息确认项目时，电子装置101可以提供文本“请选择该项目是基于个人信息更改的账户查询还是基于支付信息确认的账户查询项目”以进行用户输入。

在操作611中，电子装置101可以将所选择的中间节点的下级叶节点确定为用于具体服务的菜单。例如，电子装置101可以响应于根据用户输入的个人信息更改的选择，确定与根据个人信息更改的账户查询项目相匹配的叶节点作为第一菜单。

在操作613中，电子装置101可以确定作为匹配的结果是否存在一个匹配的中间节点。

在操作615中，电子装置101可以从匹配的中间节点的子节点中选择一个。电子装置101可以基于用户输入从中间节点的子节点中选择一个。

在操作617中，电子装置101可以确定所选择的子节点是否是叶节点。电子装置101可以重复选择子节点的操作615直到到达叶节点。

在操作619中，当所选择的子节点对应于叶节点时，电子装置101可以将所选择的子节点，即相应的叶节点确定为第一菜单项目。

在操作621中，作为匹配的结果，电子装置101可以确定是否存在两个或更多中间节点。

在操作623中，电子装置101可以从两个或更多中间节点中选择一个。对于所选择的中间节点，在操作615中，可以选择中间节点的子节点。

在操作625中，响应于根据匹配结果确定叶节点和中间节点都不匹配，电子装置101可以在没有确定第一菜单的情况下终止操作。电子装置101可以显示指示第一菜单未被指定的信息。

图7示出了用于解释根据各种实施例的由电子装置发送对由服务提供方提供的一个或更多语音提示的应答的操作的示意图700。在呼叫被连接到服务提供方(例如，图4中的服务提供方450)之后，电子装置101可以发送对应于由服务提供方450发送的一个或更多语音提示的应答。服务提供方450可以根据接收到的应答选择菜单信息之一，并且可以确定随后的语音提示。在图7中，假定具体服务是新卡申请，并且将参考图5中的菜单信息来提供其描述。响应于呼叫连接的建立，服务提供方450可以请求选择与子节点相关的信息之一，直到到达图5的菜单信息的树中的叶节点。例如，参考图7，电子装置101可以在触摸屏显示器710(例如，图3中的触摸屏显示器310)上显示与Samsung Card客户中心501进行呼叫的呼叫屏幕。

电子装置101可以响应于由Samsung Card客户中心501发送的语音提示“如果您是个人客户端请按1，如果您是公司客户端请按2”来发送按下按钮1711的应答。Samsung Card客户中心501可以接收按下按钮1711的应答，可以识别电子装置101的用户是个人客户端，并且可以请求选择图5中的个人502的子节点。例如，Samsung Card客户中心501可以发送图5中的语音提示，例如“卡挂失504请按1，信息查询505请按2，信息更改506请按3，卡注销507请按4，卡申请508请按5，联系服务人员509请按6”。例如，参考图7，电子装置101可以基于新卡申请发送按压按钮5721的应答。随后，电子装置101可以接收从Samsung Card客户中心501发送的“申请新卡请按1，补卡请按2”的语音提示，并且可以发送按压按钮1731的应答。Samsung Card客户中心501可以响应于到达与具体服务(即，新卡申请)对应的新卡节点513，请求客户等待与服务人员的连接。例如，电子装置101可以从Samsung Card客户中心501接收一个或更多语音提示，直到完成与服务人员的连接。电子装置101可以基于接收到的一个或更多语音提示来确定是否已经完成与服务人员的连接。电子装置101可以在触摸屏显示器710上显示呼叫屏幕，并且在连接服务人员的过程中进行等待。

图7所示的屏幕可以在后台执行以便不显示在触摸屏显示器710上，或者可以根据实现方式显示在电子装置101的触摸屏显示器710上。即使在显示屏幕的情况下，如图7所示，电子装置101可以顺序地按下按钮1711、按钮5721和按钮1711，并且在没有对所显示的屏幕的用户输入的情况下进行等待，直到完成与服务人员的连接。

图8示出了用于解释根据各种实施例的由电子装置确定是否联系到服务人员的操作的流程图800。电子装置101(例如，处理器120)可以基于由服务提供方(例如，图4中的服务提供方450)发送的一个或更多语音来确定是否联系到服务人员。为了区分服务人员语音，电子装置101可以使用服务人员语音的确定模型。

在操作801中，电子装置101可以从服务提供方450接收音频信号。例如，电子装置101可以从服务提供方450接收由机器生成(或由机器预先存储和输出)的音频信号或者由服务人员生成的音频信号。例如，由机器生成的音频信号可以是由ARS提供的音频信号。

在操作803中，电子装置101可以确定所接收的音频信号和与服务人员语音相关的确定模型之间的相关性。电子装置101可以使用关于与服务人员语音相关的多个音频信号的经过学习的深度学习模型作为确定模型。电子装置101可以从与服务人员语音相关的多个音频信号中提取特征，并且可以使用用于所提取的特征的机器学习模型作为确定模型。例如，电子装置101可以提取作为音频信号特征的零交叉率、能量、能量熵、频谱质心/扩展/熵/通量/滚降、Mel频率倒谱系数(MFCC)或色度矢量/偏差，并且可以使用它们。

在操作805中，电子装置101可以基于比较结果来确定是否联系到服务人员。例如，当与音频信号的确定模型的相关性显示出相似性并且具有等于或大于阈值的值时，电子装置101可以确定联系到服务人员。

图9示出了用于解释根据各种实施例的由电子装置确定是否联系到服务人员的操作的流程图900。电子装置101(例如，处理器120或210)可以基于服务提供方(例如，图4中的服务提供方450)发送的一个或更多音频信号来确定是否联系到服务人员。为了区分服务人员语音，电子装置101可以将服务人员语音转换为文本，并且可以确定转换后的文本和当联系到服务人员时可能说出的问候语之间的相似性。

在操作901中，电子装置101可以从服务提供方450接收音频信号。服务提供方450可以发送指示联系服务人员的等待状态的通知，直到联系服务人员完成。服务提供方450可以在完成与服务人员的连接时发送服务人员语音。例如，在联系到服务人员之后，服务人员可以发出指示联系服务人员已经完成的消息，例如“你好，这是Samsung Card客户中心服务人员OOO”。

在操作903中，电子装置101可以使用语音识别技术将音频信号转换为文本。

在操作905中，电子装置101可以确定转换后的文本与用于问候语的语料库的确定模型之间的相关性。电子装置101可以存储用于由服务提供方450提供的问候的语料库，并且可以使用用于该语料库的学习模型。

在操作907中，电子装置101可以基于比较结果来确定是否联系到服务人员。例如，当转换后的文本和针对确定模型的语料库之间的相关性具有高于阈值的值时，电子装置101可以确定联系到服务人员。

根据各种实施例，电子装置101可以使用图8所示的使用与服务人员语音相关的确定模型的方法和图9所示的使用与问候语语料库相关的确定模型的方法中的至少一个来确定是否联系到服务人员。电子装置101可以向至少一个方法分配权重值，并且最终可以考虑根据权重值计算的值来确定是否联系到服务人员。

图10A示出了用于通过根据各种实施例的电子装置提供指示联系服务人员的通知的各种示意图1000，并且图10B示出了用于通过根据各种实施例的电子装置提供指示联系服务人员的通知的各种示意图1000。电子装置101(例如，处理器120)可以在后台执行与服务提供方(例如，图4中的服务提供方450)的呼叫连接，并且可以在触摸屏显示器1010(例如，图3中的触摸屏显示器310或图7中的触摸屏显示器710)上显示正在执行的一个或更多应用中的一个。如图10A所示，当触摸屏显示器1010工作时，电子装置101可以经由弹出窗口1020提供指示联系服务人员的通知。弹出窗口1020可以包括指示已经联系到服务人员的文本。

如图10B所示，电子装置101可以在后台执行与服务提供方450的呼叫连接，并且在触摸屏显示器1010不工作的状态下，可以在显示来电的通知的屏幕1030上提供指示联系服务人员的通知。

图11示出了用于解释根据各种实施例的检查电子装置的用户信息的操作的流程图1100。电子装置101(例如，处理器120)可以在需要包括用户信息的用户认证以便使用服务提供方(例如，图4中的服务提供方450)的菜单时提供用户信息。电子装置101可以存储用于用户认证过程的用户信息，并且可以使用在用户认证过程中存储的用户信息进行应答。

在操作1101中，电子装置101可以从服务提供方450提供的菜单中选择与具体服务对应的菜单。例如，电子装置101可以响应于用户语音“What is the payment amount forthis month(本月的支付金额是多少)？”来选择支付金额查询菜单。

在操作1103中，电子装置101可以确定用户认证是否针对所选菜单是必需的。用户认证可以包括从电子装置101请求至少一个电子装置101的用户信息。例如，服务提供方450可以请求用户姓名、移动电话号码、卡号和卡密码，以便提供支付金额查询服务。电子装置101可以基于关于由服务提供方450提供的菜单的信息来检查是否包括用户认证。

在操作1105中，电子装置101可以检查用户认证所必需的个人信息项目。电子装置101可以检查在所选择的菜单中专门的用户认证，并且可以检查由用户认证使用的个人信息项目。例如，必要的个人信息项目可以包括用户名、移动电话号码、卡号码和卡密码。

在操作1107中，电子装置101可以确定在存储在存储器130中的数据库DB中是否存储有个人信息。个人信息可以被存储在安全区域中，并且为了电子装置101从数据库中获取个人信息，可能需要附加的用户认证。

在操作1109中，当在数据库中存储必要的个人信息时，电子装置101可以从数据库中获取个人信息。例如，电子装置101可以请求用户输入预置密码，以便获取存储在数据库中的个人信息。

在操作1111中，当必要的个人信息不在数据库中时，电子装置101可以通过用户接口从用户接收个人信息。电子装置101可以经由用户接口显示个人信息项目，并且可以基于用户输入接收对应于个人信息项目的内容。

图12示出了用于解释根据各种实施例的电子装置的操作方法的流程图1200。在与服务提供方(例如，图4中的服务提供方450)的呼叫期间，电子装置101(例如，处理器120)可以响应于用户请求在待机模式下执行呼叫应用，直到完成与服务提供方的连接。

在操作1201中，电子装置101可以基于用户输入执行呼叫应用。例如，电子装置101可以响应于选择用于执行呼叫应用的图标的触摸输入来执行呼叫应用。

在操作1203中，电子装置101可以响应于用户输入将呼叫与服务提供方450连接。例如，电子装置101可以响应于与由呼叫应用提供的按钮图标中的客户中心的电话号码对应的、顺序按压按钮的触摸输入，尝试将呼叫连接到客户中心(服务提供方450)。

在操作1205中，电子装置101可以接收请求待机模式的输入，以连接到服务提供方450的服务人员。例如，电子装置101可以在呼叫屏幕上显示用于接收在待机模式下执行呼叫应用的请求的图标，并且可以响应于在图标上接收到用户触摸输入而接收待机模式请求。

在操作1207中，电子装置101可以响应于该请求在待机模式中执行呼叫应用。电子装置101可以在后台以待机模式执行呼叫应用。电子装置101可以不在触摸屏显示器(例如，图3中的触摸屏显示器310、图7中的触摸屏显示器710、或图10A中的触摸屏显示器1010)上显示处于待机模式的呼叫应用的执行屏幕(例如，呼叫屏幕)，并且可以在触摸屏显示器310的一部分上显示指示呼叫应用正在后台执行的指示符(或图标)。电子装置101可以在呼叫应用的待机模式期间限制扬声器155或麦克风150的功能。当扬声器155或麦克风150的功能受到限制时，电子装置101可以在呼叫应用的待机模式期间根据另一应用的执行使用扬声器155来输出声音，并且可以根据另一应用的执行来处理通过麦克风150输入的信号。电子装置101可以在待机模式下执行呼叫应用，使得用户可以使用电子装置101的另一个应用，而不受呼叫应用的执行的限制。

在操作1209中，在呼叫应用的待机模式期间，电子装置101可以基于由服务提供方450发送的语音信号来确定是否联系到服务人员。例如，电子装置101可以接收由服务提供方450发送的语音，并且可以确定所接收的语音和服务人员语音的确定模型之间的相关性，以便作为确定的结果确定是否联系到服务人员。

在操作1211中，响应于联系服务人员已经完成，电子装置101可以输出指示已经联系到服务人员的通知。电子装置101可以通过触摸屏显示器310可视地提供指示联系服务人员完成的信息，或者可以通过扬声器输出指示联系服务人员完成的指定声音。电子装置101可以配置使用包括在电子装置101中的一个或更多硬件来配置要被输出的完成联系服务人员的通知。或者，电子装置101可以向连接到电子装置101的另一个电子装置发送完成联系服务人员的通知，使得另一个电子装置可以输出关于完成联系服务人员的通知的信息。

在操作1213中，电子装置101可以响应于接收到用于输出通知的用户输入而终止待机模式。响应于经由触摸屏显示器310接收到的用户输入，电子装置101可以终止呼叫应用的待机模式，并且可以在触摸屏显示器310上显示呼叫应用的呼叫屏幕。

图13示出了用于解释根据各种实施例的要联系服务人员的电子装置的待机模式的示意图1300。电子装置101(例如，处理器120)可以显示呼叫应用的执行屏幕1310。呼叫应用的执行屏幕1310可以包括对应于请求待机模式以联系服务人员的功能的图标1311。响应于接收到针对图标1311的触摸输入，电子装置101可以将呼叫应用的模式切换到待机模式，并且可以在后台执行呼叫应用。在呼叫应用的待机模式期间，电子装置101可以显示在触摸屏显示器(例如，图3中的触摸屏显示器310、图7中的触摸屏显示器710、或图10A中的触摸屏显示器1010)中执行的至少一个其他应用的执行屏幕，并且可以显示例如启动器应用执行屏幕1320。在呼叫应用的待机模式期间，电子装置101可以显示指示呼叫应用处于待机模式的指示符1321。指示符1321可以对应于在触摸屏显示器310的部分区域中指定的颜色的半透明显示物。响应于确定已经联系到服务人员，电子装置101可以使用弹出窗口1330在其他应用的执行屏幕1320的至少一部分上显示指示联系服务人员完成的通知。电子装置101可以终止呼叫应用的待机模式，并且可以响应于针对弹出窗口1330的、指示联系服务人员完成的用户输入，重新显示呼叫应用的呼叫屏幕1310。

图14示出了用于解释根据各种实施例的电子装置的操作方法的流程图1400。电子装置101(例如，处理器120)可以响应于另一电子装置的请求来执行包括另一电子装置与服务提供方(例如，图4中的服务提供方450)之间的呼叫连接的任务连接。

在操作1401中，电子装置101可以从外部电子装置(例如图1中的电子装置102或104)接收对到服务提供方450的呼叫连接的请求。这里，该请求可以包括外部电子装置102或104的用户信息以及与具体服务和服务提供方450相关的至少一条关键字信息。

在操作1403中，电子装置101可以响应于该请求获取用于到服务提供方450的呼叫连接的标识号。电子装置101可以获取用于连接到服务提供方450的电话号码作为标识号。

在操作1405中，电子装置101可以从由服务提供方450提供的包括一个或更多具体服务的菜单信息中选择与包括在请求中的具体服务对应的第一菜单项目。电子装置101可以使用接收到的至少一条关键字信息来选择与具体服务对应的第一菜单项目。例如，电子装置101可以使用关键字“Applying for a card(申请卡)”来选择对应于由Samsung Card客户中心(例如图5中的Samsung Card客户中心501)提供的新卡发布的菜单。

在操作1407中，电子装置101可以尝试服务提供方450和外部电子装置102或104之间的呼叫连接。电子装置101可以拨打服务提供方450的标识号，并且可以响应于对用户信息的请求来发送外部电子装置102或104的用户信息。

在操作1409中，当呼叫连接到服务提供方450时，电子装置101可以响应于服务提供方450提供的一个或更多语音提示来发送一个或更多应答，直到达到与第一菜单对应的步骤。电子装置101可以基于外部电子装置102或104的用户信息和第一菜单的信息来确定对一个或更多语音提示的相应应答，并且可以发送所确定的应答。例如，电子装置101可以发送按下按钮的应答，直到根据由服务提供方450发送的通知到达与第一菜单对应的菜单步骤。

在操作1411中，电子装置101可以响应于到达第一菜单，基于由服务提供方450发送的至少一个语音来确定是否联系到服务人员。电子装置101可以通过使用与服务人员语音相关的确定模型来确定与接收到的语音的相关性，并且可以基于确定结果来确定是否联系到服务人员。

在操作1413中，响应于连接到服务人员完成，电子装置101可以向外部电子装置102或104提供指示到服务提供方450的服务提供方的服务人员的连接完成的信息。电子装置101还可以提供能够引导服务提供方450和外部电子装置102或104之间的呼叫连接的信息。外部电子装置102或104可以从电子装置101接收信息，并且可以执行与服务提供方450的呼叫连接的任务。

在操作1415中，电子装置101可以响应于接收到指示呼叫在外部电子装置102或104与服务提供方450之间被连接的消息而终止到服务提供方450的呼叫连接。外部电子装置102或104可以根据电子装置101提供的信息执行到服务提供方450的呼叫连接，并且当呼叫连接完成时，外部电子装置102或104可以向电子装置101发送指示呼叫连接的消息。电子装置101可以响应于接收到消息而确定呼叫被连接在外部电子装置102或104与服务提供方450之间，并且可以终止到服务提供方450的呼叫连接。

图15A示出了用于解释根据各种实施例的服务器、电子装置和服务提供方的操作的流程图1500，图15B示出了用于解释根据各种实施例的服务器、电子装置和服务提供方的操作的流程图1500。根据各种实施例，服务器1550(例如，图1中的服务器108)可以从电子装置101接收对电子装置101(例如，处理器120)与服务提供方450之间的呼叫连接的请求，并且可以执行电子装置101与服务提供方450之间的呼叫连接。

在操作1501中，电子装置101可以显示第一应用的执行屏幕。第一应用可以是语音识别应用。电子装置101可以执行语音识别应用以处理用户语音，并且可以显示执行屏幕以引起用户输入。

在操作1503中，电子装置101可以接收第一用户输入。例如，电子装置101可以通过麦克风150接收用户语音，并且可以响应于用户语音的接收在执行屏幕上显示语音识别结果。

在操作1505中，电子装置101可以将第一用户输入发送到服务器1550。电子装置101可以向服务器1550发送第一用户输入，以便请求包括到服务提供方450的呼叫连接的任务。第一用户输入可以包括请求与服务提供方450的呼叫。例如，第一用户输入可以是“Apply for a new card in the Samsung Card customer center(在Samsung Card客户中心中申请新卡)”。

在操作1507中，服务器1550可以基于所接收的第一用户输入来识别服务提供方450和具体服务。服务提供方450可以经由呼叫连接提供各种服务。具体服务可以是由服务提供方450提供的服务之一。服务器1550可以从第一用户输入中提取与具体服务或服务提供方450相关的至少一个关键字，并且可以通过使用该至少一个关键字来识别具体服务和服务提供方450。例如，服务器1550可以从“Apply for a new card in the Samsung Cardcustomer center(在Samsung Card客户中心中申请新卡)”中提取关键字，例如“SamsungCard”、“客户中心”,“新卡”和“申请”，并且可以通过使用“Samsung Card”和“客户中心”将Samsung Card客户中心501识别为服务提供方450。服务器1550可以通过使用“新卡”和“申请”来将新卡发布识别为具体服务。

在操作1509中，服务器1550可以获取服务提供方450的菜单信息。菜单信息可以包括关于由服务提供方450提供的一个或更多服务的信息，可以以树结构存储中，并且可以包括用户信息和是否联系到服务人员等的信息，这些信息被用于提供每个服务。

在操作1511中，服务器1550可以从服务提供方450的菜单信息中选择与具体服务对应的第一菜单。例如，服务器1550可以响应于新卡发布来选择Samsung Card客户中心501的卡申请菜单。

在操作1513中，服务器1550可以从服务提供方450请求呼叫连接。

在操作1515中，服务提供方450可以允许到服务器1550的呼叫连接。

在操作1517中，可以建立服务器1550和服务提供方450之间的呼叫连接。

在操作1519中，服务提供方450可以根据呼叫连接向服务器1550发送确定的语音提示。

在操作1521中，服务器1550可以基于电子装置101的信息、电子装置101的用户信息以及第一菜单项目的信息来发送与接收到的语音提示对应的应答。例如，服务器1550可以响应于用于请求输入移动电话号码作为用户信息的语音提示来发送电子装置101的电话号码。

在操作1523中，服务提供方450可以基于接收到的应答来确定是否已经到达第一菜单。服务提供方450可以以确定的顺序提供语音提示，以从所提供的服务中识别用户所使用的服务，并且可以根据对其的应答来选择菜单。服务提供方450可以发送语音提示直到到达第一菜单，并且可以重复接收对其的应答的操作。

在操作1525中，服务提供方450可以响应于到达第一菜单而发送由服务提供方450发出的、与服务人员的连接相关联的语音。服务提供方450可以响应于到达第一菜单而执行联系服务人员。服务提供方450可以在联系服务人员时发送伴随信息。在等待联系服务人员的同时，服务提供方450可以发送指示等待联系服务人员的状态的语音。

在操作1527中，服务器1550可以基于由服务提供方450发送的语音来确定是否联系到服务人员。服务器1550可以接收从服务提供方450发送的语音，并且可以重复确定服务人员是否连接的操作，直到完成与服务人员的连接。

在操作1529中，服务器1550可以响应于确定已经联系到服务人员，请求服务提供方450呼叫电子装置101。例如，服务器1550可以发送用于请求服务提供方450呼叫电子装置101的消息。

在操作1531中，服务器1550可以向电子装置101提供指示联系服务人员已经完成的信息。操作1531可以在操作1529之前执行。

在操作1533中，电子装置101可以接收用于到服务提供方450的服务人员的呼叫连接的用户输入。例如，电子装置101可以接收触摸显示从服务器1550接收的信息的通知的用户输入，并且可以执行到服务提供方450的呼叫连接。

在操作1535中，服务提供方450可以根据服务器1550的请求从电子装置101请求呼叫连接。操作1535可以在操作1533或操作1531之前。

在操作1537中，电子装置101可以允许由服务提供方450发送的呼叫连接请求。

在操作1539中，电子装置101可以向服务器1550提供指示到服务提供方450的呼叫连接的信息。

在操作1541中，电子装置101可以建立到服务提供方450的呼叫连接。

在操作1543中，服务器1550可以基于从电子装置101接收到关于到服务提供方450的呼叫连接的信息来终止与服务提供方450的呼叫。

图16示出了根据各种实施例的用于根据电子装置的用户语音来解释信息提供的示意图1600。电子装置101(例如，处理器120)可以处理包括在用户语音中的、用于请求由服务提供方(例如，图4中的服务提供方450)经由呼叫连接提供的服务的任务。当处理包括在用户语音中的一个或更多任务时，电子装置101可以执行到服务提供方450的呼叫连接，并且可以向用户提供经由呼叫连接获得的信息。

电子装置101可以在触摸屏显示器1610(例如，图3中的触摸屏显示器、图7中的触摸屏显示器710、或图10A中的触摸屏显示器1010)中显示用于接收用户语音1601的执行屏幕1620。例如，电子装置101可以根据语音识别应用的执行来显示执行屏幕1620。执行屏幕1620可以包括指示正在执行收听的指示符1621、OK图标1622和文本显示窗口1623。电子装置101可以激活麦克风150，并且可以显示例如指示正在执行收听的指示符1621。电子装置101可以将作为处理用户语音的结果而获取的文本或命令输入到文本窗口1623中，以便显示该文本或命令。当选择OK图标1622时，电子装置101可以执行与文本显示窗口1623内的文本或命令对应的任务。例如，电子装置101可以通过麦克风150接收用户语音1601，即“Howmuch is the Samsung Card payment this month(本月Samsung Card支付多少)？”。电子装置101可以在文本显示窗口1623内显示指示“How much is the Samsung Card paymentthis month(本月Samsung Card支付多少)？”的文本，并且当选择OK图标1622时，电子装置101可以执行包括在“How much is the Samsung Card payment this month(本月SamsungCard支付多少)”中的任务。根据语音识别分析结果，电子装置101可以确认用于执行至少一个操作的多个任务，以达到执行呼叫应用、输入与Samsung Card对应的电话号码或者将呼叫连接到Samsung Card、以及在连接呼叫之后确认支付金额的步骤。例如，电子装置101可以直接确认多个任务，或者可以针对语音识别分析从服务器108接收多个任务。在下文中，电子装置101对包括多个任务的特定信息的确认可以被理解为基于从服务器108接收的信息对特定信息的确认。

电子装置101可以响应于对OK图标1622的选择而停止显示执行屏幕1620。根据显示执行屏幕1620的停止，在显示执行屏幕1620之前显示的至少一个屏幕可以显示在触摸屏显示器1610上。例如，可以显示启动器应用的执行屏幕1630。

电子装置101可以基于用户语音1601来识别服务提供方450和具体服务。电子装置101可以选择服务提供方450的与具体服务对应的菜单。为了向服务提供方450请求用于所选菜单的服务，电子装置101可以执行用于将呼叫连接到服务提供方450的呼叫应用。电子装置101可以在到服务提供方450的呼叫连接期间请求针对菜单的服务，并且可以从服务提供方450接收支付金额信息作为服务结果。

电子装置101可以在弹出窗口1640中向触摸屏显示器1610提供对应于用户语音1601的服务结果。电子装置101可以在弹出窗口1640中显示OK图标1641和取消图标1642。电子装置101可以响应于针对OK图标1641的触摸输入显示在触摸屏显示器1610中提供服务结果的屏幕1650。

根据各种实施例的电子装置(例如，图1中的电子装置101)可以包括：麦克风(输入设备150)、扬声器(语音输出装置155)、触摸屏显示器(例如，显示设备160)、通信电路(例如，通信模块190)、可操作地连接到麦克风150、扬声器155、触摸屏显示器160和通信电路190的至少一个处理器(例如，处理器120)、以及可操作地连接到处理器120的存储器(例如，存储器130)，其中存储器130存储指令，指令被配置为在被执行时使至少一个处理器120：通过触摸屏显示器160或麦克风150接收第一用户输入；基于第一用户输入的至少一部分来识别服务提供方和具体服务；从由服务提供方提供的包括至少一个具体服务的菜单信息中选择与具体服务对应的第一菜单；尝试使用通信电路190将呼叫连接到服务提供方；当与服务提供方的呼叫被连接时，响应于服务提供方提供的一个或更多语音提示，发送一个或更多应答直到到达与第一菜单对应的步骤；响应于到达第一菜单，基于由服务提供方发送的至少一个语音来确定是否联系到服务人员；响应于联系服务人员已经完成，使用扬声器155或触摸屏显示器160输出指示联系服务人员已经完成的通知；以及响应于接收到用于输出通知的第二用户输入，显示用于与服务提供方进行呼叫的屏幕。根据实施例，作为从包括由服务提供方提供的一个或更多服务的菜单信息中选择对应于具体服务的第一菜单的至少一部分，处理器120可以使用通信电路190从外部服务器108请求菜单信息，并且可以使用通信电路190从外部服务器108接收菜单信息。在实施例中，菜单信息可以包括由服务提供方以树结构提供的一个或更多服务的信息。根据实施例，响应于具体服务，处理器120可以选择一个或更多服务中的位于树结构中的叶节点中的一个作为第一菜单。在该实施例中，响应于具体服务与位于树结构中的中间节点中的第二菜单的匹配，处理器120可以经由触摸屏显示器160显示第二菜单的父节点或子节点的信息，并且可以基于响应于所显示的信息而接收的第三用户输入，响应于具体服务来选择位于树结构中的叶节点中的第一节点。根据实施例，作为基于由服务提供方发送的至少一个语音确定是否联系到服务人员的至少一部分，处理器120可以使用接收到的至少一个语音中的第一语音和通过学习服务人员语音获得的确定模型进行比较，从而根据阈值或更大来确定第一语音是否与确定模型相似。根据实施例，作为基于由服务提供方发送的至少一个语音确定是否连接到服务人员的至少一部分，处理器120可以从第一语音中提取至少一个音频特征，并且可以使用通过学习从服务人员语音中提取的音频特征而获得的确定模型进行比较，以根据阈值或更大来确定第一语音信号是否类似于确定模型。根据实施例，作为基于由服务提供方发送的至少一个语音确定是否连接到服务人员的至少一部分，处理器120可以将接收到的至少一个语音信号的第一语音转换为文本，并且可以确定转换后的文本和基于指定问候语的学习语料库获得的确定模型之间的相关性，并且当相关性具有等于或大于阈值的值时，可以确定第一语音信号对应于服务人员语音。根据实施例，作为发送一个或更多应答直到达到与第一菜单对应的步骤的至少一部分，响应于由服务提供方提供的一个或更多语音提示，处理器120可以从服务提供方接收请求电子装置的用户信息的语音提示，并且处理器120可以向服务提供方发送基于电子装置的用户信息生成的应答。根据实施例，处理器120可以响应于对第一菜单项目的选择来确定服务提供方是否请求电子装置101的用户信息以便提供第一菜单项目，并且处理器120可以响应于请求电子装置101的用户信息而在尝试将呼叫连接到服务提供方之前获取用户信息。根据实施例，处理器120可以在后台执行呼叫连接，直到接收到第二用户输入。根据实施例，处理器120可以从第一用户输入中提取与服务提供方和具体服务相关的至少一个关键字，并且可以从各自经由呼叫连接提供一个或更多服务的多个服务提供方中选择与至少一个关键字对应的服务提供方，并且处理器120可以获取用于将呼叫连接到服务提供方的标识号。根据实施例，在输出指示与服务提供方的服务人员的连接完成的通知之后，在接收用于输出通知的第二用户输入之前，处理器120可以向服务提供方发送用于请求维持与服务提供方的服务人员的连接的消息。根据实施例，处理器120可以估计联系到服务人员所需的时间，并且可以经由触摸屏显示器提供估计的时间的信息。

根据各种实施例的电子装置(例如，图1中的电子装置101)可以包括：扬声器(例如，语音输出设备155)、触摸屏显示器(例如，显示设备160)、通信电路(例如，通信模块190)、可操作地连接到扬声器155、触摸屏显示器160和通信电路190的至少一个处理器(例如，处理器120)、以及可操作地连接到处理器120的存储器(例如，存储器130)，其中存储器130存储指令，指令被配置为在被执行时使至少一个处理器120：执行呼叫应用；尝试使用通信电路190将呼叫连接到服务提供方；在与服务提供方的呼叫连接过程中，接收请求连接到服务提供方的服务人员的待机模式的第一用户输入，在该待机模式中呼叫应用在待机模式下在后台执行；响应于第一用户输入，在待机模式下执行呼叫应用；在待机模式下执行呼叫应用的同时，基于服务提供方发送的语音确定服务人员是否连接；响应于联系服务人员已经完成，使用扬声器155或触摸屏显示器160输出指示联系服务人员已经完成的通知；以及响应于接收到用于输出通知的第二用户输入，终止待机模式。根据实施例，处理器120可以经由触摸屏显示器160显示指示提供待机模式的功能的图标，并且可以响应于选择图标的输入将呼叫应用的模式转换为待机模式。根据实施例，作为基于由服务提供方发送的至少一个语音确定是否连接到服务人员的至少一部分，处理器120可以使用接收到的至少一个语音中的第一语音和通过学习服务人员语音获得的确定模型执行比较，以根据阈值或更大确定第一语音是否与确定模型相似。根据实施例，作为基于由服务提供方发送的至少一个语音确定是否连接到服务人员的至少一部分，处理器120可以从第一语音提取至少一个音频特征，并且可以使用通过学习从服务人员语音提取的音频特征而获得的确定模型进行比较，以根据阈值或更大来确定第一语音是否类似于确定模型。根据实施例，作为基于由服务提供方发送的至少一个语音确定是否联系到服务人员的至少一部分，处理器120可以将至少一个语音的第一语音转换为文本，并且可以确定转换后的文本和使用用于指定问候的学习语料库获得的确定模型之间的相关性，并且当相关性具有等于或大于阈值的值时，可以确定第一语音对应于服务人员语音。根据实施例，当在待机模式中执行呼叫应用时，处理器120可以不在触摸屏显示器上显示呼叫应用的执行屏幕，并且可以限制扬声器或麦克风的功能。

根据各种实施例的电子装置(例如，图1中的电子装置101)可以包括：通信电路(例如，通信模块190)、可操作地连接到通信电路190的至少一个处理器(例如，处理器120)、以及可操作地连接到处理器120的存储器(例如，存储器130)，其中存储器130存储指令，指令被配置为在被执行时使至少一个处理器120：从外部电子装置接收对到服务提供方的呼叫连接的请求，该请求包括外部电子装置的用户信息以及与具体服务和服务提供方相关的至少一个关键字信息；响应于请求，获取与服务提供方的呼叫连接的标识号；从由服务提供方提供的包括一个或更多具体服务的菜单信息中选择与包括在请求中的具体服务对应的第一菜单；尝试在外部电子装置和服务提供方之间连接呼叫；当与服务提供方的呼叫被连接时，响应于服务提供方提供的一个或更多语音提示，发送一个或更多应答直到到达与第一菜单对应的步骤；响应于到达第一菜单，基于由服务提供方发送的至少一个语音来确定是否联系到服务人员；响应于与服务提供方的服务人员的连接的完成，使用通信电路190向外部电子装置提供指示已经建立了与服务提供方的服务人员的连接的信息；以及响应于接收到指示外部电子装置与服务提供方之间的呼叫已经被连接的消息，终止与服务提供方的呼叫连接。

在下文中，将描述可以应用实施例的集成智能系统。

图17是示出根据各种实施例的集成智能系统的图。

参照图17，集成智能系统10可以包括用户终端3100、智能服务器3200、个性化信息服务器3300或建议服务器3400。

用户终端3100(例如，电子装置101)可以经由存储在用户终端3100内的应用(或应用程序(例如，提醒应用、消息应用、图片(图库)应用等))来为用户提供必要的服务。例如，用户终端3100可以经由存储在用户终端3100内的智能应用(或语音识别应用)来执行和操作另一应用。用户终端3100可以经由用户终端3100的智能应用接收用于执行和操作另一应用的用户输入。用户输入可以通过例如物理按钮、触摸板、语音输入、远程输入等被接收。根据实施例，用户终端3100可以是可连接到因特网的各种终端设备(或电子装置)中的任一者，诸如移动电话、智能电话、个人数字助理(PDA)或笔记本计算机。

根据实施例，用户终端3100可以接收用户语音作为用户输入。用户终端3100可以接收用户语音并且可以基于用户语音生成操作应用的命令。因此，用户终端3100可以使用该命令来操作应用。

智能服务器3200可以经由通信网络从用户终端3100接收用户语音输入，并且可以将所接收的用户语音输入改变为文本数据。在另一个实施例中，智能服务器3200可以基于文本数据生成(或选择)路径规则。路径规则可以包括用于执行APP(应用)的功能的动作(或操作)的信息或执行动作所必需的参数的信息。路径规则可以包括APP的操作顺序。用户终端3100可以接收路径规则，可以根据路径规则选择APP，并且可以通过所选择的APP执行包括在路径规则中的操作。

例如，用户终端3100可以执行这些操作，并且可以在显示器上显示对应于已经执行这些操作的用户终端3100的状态的屏幕。作为另一个示例，用户终端3100可以执行这些操作，但是可以不在显示器上显示执行这些操作的结果。用户终端3100例如可以执行多个操作，并且可以在显示器上仅显示多个操作的一些结果。用户终端3100可以在显示器上仅显示通过执行顺序中的最后一个操作而获得的结果。作为另一个示例，用户终端3100可以接收用户输入，并且可以在显示器上显示通过执行操作获得的结果。

个性化信息服务器3300可以包括存储用户信息的数据库。例如，个性化信息服务器3300可以从用户终端3100接收用户信息(例如，上下文信息、APP执行等)，并且可以将所接收的用户信息存储在数据库中。智能服务器3200可以经由通信网络从个性化信息服务器3300接收用户信息，并且可以在为用户输入生成路径规则的情况下使用所接收的用户信息。根据实施例，用户终端3100可以经由通信网络从个性化信息服务器3300接收用户信息，并且可以使用所接收的用户信息作为用于管理数据库的信息。

建议服务器3400可以包括存储应用或功能的介绍或要提供的功能的信息的终端内数据库。例如，建议服务器3400可以从个性化信息服务器3300接收用户终端3100的用户信息，并且可以包括用于用户可用的功能的数据库。用户终端3100可以经由通信网络从建议服务器3400接收关于要提供的功能的信息，并且可以向用户提供所接收的信息。

图18是示出根据实施例的集成智能系统的用户终端的框图。

参照图18，用户终端3100可以包括输入模块3110、显示器3120、扬声器3130、存储器3140或处理器3150。用户终端3100还可以包括壳体，并且用户终端3100的元件可以位于壳体内或位于壳体上。

根据实施例，输入模块3110可以接收来自用户的用户输入。例如，输入模块3110可以从连接的外部电子装置(例如，键盘和耳机)接收用户输入。作为另一示例，输入模块3110可以包括与显示器3120联接的触摸屏(例如，触摸屏显示器)。作为又一示例，输入模块3110可以包括位于用户终端3100(或用户终端3100的壳体)中的硬件键(例如，图19的3112)(或物理键)。

根据实施例，输入模块3110可以包括能够接收作为语音信号的用户语音的麦克风(例如，图18中的3111)。例如，输入模块3110可以包括语音输入系统(语音输入系统)，并且可以经由语音输入系统接收作为语音信号的用户语音。

根据实施例，显示器3120可以显示应用的图像、视频和/或执行屏幕。例如，显示器3120可以显示应用的图形用户界面(GUI)。

根据实施例，扬声器3130可以输出语音信号。例如，扬声器3130可以将在用户终端3100内产生的语音信号输出到外部。

根据实施例，存储器3140可以存储多个应用3141和3143。存储在存储器3140中的多个应用3141和3143可以被选择和执行，并且可以根据用户输入来操作。

根据实施例，存储器3140可以包括能够存储识别用户输入所必需的信息的数据库。例如，存储器3140可以包括能够存储日志信息的日志数据库。作为另一个示例，存储器3140可以包括能够存储用户信息的个人数据库。

根据实施例，存储器3140可以存储多个应用3141和3143，并且可以加载和操作多个应用3141和3143。例如，存储在存储器3140中的多个应用3141和3143可以由处理器3150的执行管理器模块3153加载和操作。多个应用3141和3143可以包括执行功能的多个操作(或单元操作)3141b和3143b或执行服务3141a和3143a。执行服务3141a和3143a可以由处理器3150的执行管理器模块3153生成，并且可以执行多个操作3141b和3143b。

根据实施例，当执行应用3141和3143的操作3141b和3143b时，可以在显示器3120上显示根据操作3141b和3143b的执行的执行状态屏幕。执行状态屏幕可以是指示操作3141b和3143b已经完成的状态的屏幕。执行状态屏幕可以是其中操作3141b和3143b的执行已停止的部分登陆状态(partial landing state)的屏幕(例如，在操作3141b和3143b所必需的参数未被输入的情况下)。

根据实施例，执行服务3141a和3143a可以根据路径规则执行操作3141b和3143b。例如，执行服务3141a和3143a可以由执行管理器模块3153激活，可以从执行管理器模块3153接收根据路径规则的执行请求，并且可以执行应用3141和3143的操作3141b和3143b。当完成操作3141b和3143b的执行时，执行服务3141a和3143a可以向执行管理器模块3153发送完成信息。

根据实施例，当在应用3141和3143中执行多个操作3141b和3143b时，可以顺序地执行多个操作3141b和3143b。当完成一个操作(操作1)的执行时，执行服务3141a和3143a可以打开后续操作(操作2)，并且可以向执行管理器模块3153发送完成信息。这里，任意操作的打开可以被理解为将任意操作转移到可执行状态或准备执行任意操作。换句话说，如果没有打开任意操作，则可以不执行该操作。当接收到完成信息时，执行管理器模块3153可将对后续操作3141b和3143b的执行请求传输到执行服务(例如，操作2)。根据实施例，当执行多个应用3141和3143时，可以顺序地执行多个应用3141和3143。例如，当完成第一应用3141的最后操作的执行并且接收到完成信息时，执行管理器模块3153可以向执行服务3143a发送第二应用3143的第一操作的执行请求。

根据实施例，当在应用3141和3143中执行多个操作3141b和3143b时，可以在显示器3120上显示根据相应操作3141b和3143b的执行的执行状态屏幕。根据实施例，可以在显示器3120上仅显示根据多个执行操作3141b和3143b的执行的多个结果屏幕中的一些。

根据实施例，存储器3140可以存储链接到智能代理3151的智能应用(例如，语音识别应用)。链接到智能代理3151的应用可以接收和处理作为语音信号的用户语音。根据实施例，链接到智能代理3151的APP可以由经由输入模块3110输入的特定输入(例如，经由硬件键的输入、经由触摸屏的输入和特定语音输入)来操作。

根据实施例，处理器3150可以控制用户终端3100的整体操作。根据实施例，处理器3150可以控制输入模块3110接收用户输入。处理器3150可以控制显示器3120以显示图像。处理器3150可以控制扬声器3130输出语音信号。处理器3150可以控制存储器3140来检索或存储必要的信息。

根据实施例，处理器3150可以包括智能代理3151、执行管理器模块3153或智能服务模块3155。根据实施例，处理器3150可以执行存储的指令来操作智能代理3151、执行管理器模块3153或智能服务模块3155。在各种实施例中提到的各种模块可以用硬件或软件来实现。在各种实施例中，由智能代理3151、执行管理器模块3153或智能服务模块3155执行的操作可以被理解为由处理器3150执行的操作。

根据实施例，智能代理3151可以基于经由用户输入接收的语音信号生成操作APP的指令。根据实施例，执行管理器模块3153可以从智能代理3151接收所生成的命令，并且可以选择、执行和操作存储在存储器3140中的应用3141和3143。根据实施例，智能服务模块3155可以用于管理用户信息和处理用户输入。

智能代理3151可以将通过输入模块3110接收的用户输入发送到智能服务器3200，以便处理用户输入。

根据实施例，智能代理3151可以在将用户输入发送到智能服务器3200之前预处理用户输入。根据实施例，智能代理3151可以包括自适应回声消除器(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块或自动增益控制(AGC)模块，以便预处理用户输入。自适应回声消除单元可以是包括在用户输入中的回声。噪声抑制模块可以抑制包括在用户输入中的后台噪声。端点检测模块可以检测包括在用户输入中的用户语音的端点，以找到用户语音存在的部分。自动增益控制模块可以识别用户输入，并且可以调整用户输入的音量，以便适于处理。根据实施例，智能代理3151可以包括用于执行的所有预处理配置，但是在另一个实施例中，智能代理3151可以包括一些预处理配置，以允许在低功率下操作。

根据实施例，智能代理3151可以包括识别用户呼叫的唤醒识别模块。唤醒识别模块可经由语音识别模块识别用户的唤醒命令，且可激活智能代理3151以在接收到唤醒命令时接收用户输入。根据实施例，智能代理3151的唤醒识别模块可以在低功率处理器(例如，包括在音频编解码器中的处理器)中实现。根据实施例，智能代理3151可以响应于经由硬件键的用户输入而被激活。当智能代理3151被激活时，可以执行链接到智能代理3151的智能应用(例如，语音识别应用)。

根据实施例，智能代理3151可以包括执行用户输入的语音识别模块。语音识别模块可以识别用于使应用执行操作的用户输入。例如，语音识别模块可以识别执行诸如应用3141和3143中的唤醒命令的操作的有限用户(语音)输入(例如，诸如“点击”的声音，以在相机应用运行时引起拍摄操作)。辅助智能服务器3200并识别用户输入的语音识别模块例如可以识别并快速处理可以在用户终端3100中处理的用户命令。根据实施例，执行智能代理3151的用户输入的语音识别模块可以在应用处理器中实现。

根据实施例，智能代理3151的语音识别模块(包括唤醒模块的语音识别模块)可以使用语音识别算法来识别用户输入。用于识别语音的算法例如可以是隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法或动态时间翘曲(DTW)算法中的至少一种。

根据实施例，智能代理3151可以将用户的语音输入转换为文本数据。根据实施例，智能代理3151可以将用户的语音传送到智能服务器3200，以便接收转换后的文本数据。因此，智能代理3151可以在显示器3120上显示文本数据。

根据实施例，智能代理3151可以接收从智能服务器3200发送的路径规则。根据实施例，智能代理3151可以将路径规则发送到执行管理器模块3153。

根据实施例，智能代理3151可以根据从智能服务器3200接收的路径规则向智能服务模块3155发送执行结果日志，并且可以在角色模块(角色管理器)3155b的用户偏好信息中累积和管理所发送的执行结果日志。

根据实施例，执行管理器模块3153可以从智能代理3151接收路径规则以执行应用3141和3143，并且可以允许应用3141和3143执行操作3141b和3143b。例如，执行管理器模块3153可以向应用3141和3143发送用于执行操作3141b和3143b的命令信息，并且可以从应用3141和3143接收操作3141b和3143b的完成信息。

根据实施例，执行管理器模块3153可以发送或接收用于在智能代理3151和应用3141和3143之间执行应用3141和3143的操作3141b和3143b的命令信息。执行管理器模块3153可以绑定要根据路径规则执行的应用3141和3143，并且可以将包括在路径规则中的操作3141b和3143b的命令信息发送到应用3141和3143。例如，执行管理器模块3153可以顺序地将包括在路径规则中的操作3141b和3143b发送到应用3141和3143，以便顺序地执行应用3141和3143的操作3141b和3143b。

根据实施例，执行管理器模块3153可以管理应用3141和3143的操作3141b和3143b的执行状态。例如，执行管理器模块3153可以从应用3141和3143接收关于操作3141b和3143b的执行状态的信息。当操作3141b和3143b的执行状态对应于例如部分登陆状态时(在操作3141b和3143b所需的参数未被输入的情况下)，执行管理器模块3153可以将部分登陆状态的信息发送到智能代理3151。智能代理3151可以使用所接收的信息来请求用户输入必要的信息(例如，参数信息)。作为另一示例，当操作3141b和3143b的执行状态对应于操作状态时，可以从用户接收语音，并且执行管理器模块3153可以将正被执行的应用3141和3143的信息以及应用3141和3143的执行状态的信息发送到智能代理3151。智能代理3151可以通过智能服务器3200接收用户语音的参数信息，并且可以将接收到的参数信息发送到执行管理器模块3153。执行管理器模块3153可通过使用所接收的参数信息将操作3141b和3143b的参数改变为新参数。

根据实施例，执行管理器模块3153可以将包括在路径规则中的参数信息传送到应用3141和3143。当根据路径规则顺序地执行多个应用3141和3143时，执行管理器模块3153可以将包括在路径规则中的参数信息从一个应用发送到另一个应用。

根据实施例，执行管理器模块3153可以接收多个路径规则。执行管理器模块3153可以基于用户的语音来选择多个路径规则。例如，当用户语音指定执行部分操作3141b的一个APP 3141但未指定执行剩余操作3143b的另一APP 3143时，执行管理器模块3153可接收不同多个路径规则，在该规则中执行用于执行部分操作3141b的相同APP3141(例如，图库APP)并且单独地执行能够执行剩余操作3143b的不同APP 3143(例如，消息APP和电报APP)。执行管理器模块3153可执行例如多个路径规则的相同操作3141b和3143b(例如，相同的连续操作3141b和3143b)。当执行相同的操作时，执行管理器模块3153可以在显示器3120上显示状态屏幕，该状态屏幕使得能够选择包括在相应的多个路径规则中的不同的应用3141和3143。

根据实施例，智能服务模块3155可以包括上下文模块3155a、角色模块3155b或建议模块3155c。

上下文模块3155a可以从应用3141和3143收集应用3141和3143的当前状态。例如，上下文模块3155a可以接收指示应用3141和3143的当前状态的上下文信息，以便收集应用3141和3143的当前状态。

角色模块3155b可以使用用户终端3100来管理用户的个人信息。例如，角色模块3155b可以收集用户终端3100的性能结果和使用信息，以便管理用户的个人信息。

建议模块3155c可以预测用户意图并且可以向用户推荐命令。例如，建议模块3155c可以考虑用户的当前状态(例如，时间、地点、情况和APP)向用户推荐命令。

图19是示出根据实施例的用户终端执行智能应用的图。

参照图19，用户终端3100接收用户输入并执行链接到智能代理3151的智能应用(例如，语音识别应用)。

根据实施例，用户终端3100可以通过硬件键3112执行用于语音识别的智能应用。例如，当经由硬件键3112接收用户输入时，用户终端3100可以在显示器3120上显示智能应用的用户接口(UI)3121。例如，用户可以按下智能应用的UI 3121中的语音识别按钮3121a以在智能应用的UI 3121显示在显示器3120上的状态下输入语音3111b。作为另一个示例，用户可以按下硬件键3112以输入语音3111b。

根据实施例，用户终端3100可以经由麦克风3114执行用于语音识别的智能应用。例如，当经由麦克风3114输入语音(例如，“唤醒！”)3111a时，用户终端3100可以在显示器3120上显示智能应用的UI3121。

图20是示出根据实施例的集成智能系统的服务器的框图。

参照图20，智能服务器3200可以包括自动语音识别(ASR)模块3210、自然语言理解(NLU)模块3220、路径规划器模块3230、对话管理器(DM)模块3240、自然语言生成器(NLG)模块3250或文本到语音(TTS)模块3260。

智能服务器3200的自然语言理解模块3220或路径规划器模块3230可以生成路径规则。

根据实施例，自动语音识别(ASR)模块3210可以将从用户终端3100接收的用户输入转换为文本数据。

根据实施例，自动语音识别模块3210可以将从用户终端3100接收的用户输入转换为文本数据。例如，自动语音识别模块3210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发音相关的信息，并且语言模型可以包括单元音素信息和关于单元音素信息的组合的信息。语音识别模块可以使用关于语音的信息和单元音素信息将用户语音转换为文本数据。关于声学模型和语言模型的信息可以存储在例如自动语音识别数据库(ASR DB)3211中。

根据实施例，自然语言理解模块3220可以执行句法分析或语义分析以识别用户意图。句法分析可以将用户输入划分为句法单元(例如，单词、短语、词素等)，并且可以确定划分的单元具有什么句法元素。可以使用语义匹配、规则匹配、公式匹配等来执行语义分析。因此，自然语言理解模块3220可以获得用户输入所需的域、意图或参数(或槽)，以便表达意图。

根据实施例，自然语言理解模块3220可以使用匹配规则来确定用户意图和参数，匹配规则被划分为识别意图所必需的域、意图和参数(或槽)。例如，一个域(例如，闹钟)可以包括多个意图(例如，闹钟设置、闹钟取消等)，并且一个意图可以包括多个参数(例如，时间、重复次数、闹钟声音等)。多个规则可以包括，例如，一个或更多强制元素参数。匹配规则可以存储在自然语言理解数据库(NLUDB)3221中。

根据一个实施例，自然语言理解模块3220可以使用诸如语素、短语等的语言特征(例如，语法元素)来识别从用户输入中提取的单词的含义，并且可以通过将所识别的单词的含义与域和意图进行匹配来确定用户意图。例如，自然语言理解模块3220可以通过获得从用户输入提取的多少单词被包括在每个域和意图中来确定用户意图。根据实施例，自然语言理解模块3220可以使用作为理解意图的基础的单词来确定用户输入的参数。根据实施例，自然语言理解模块3220可以使用自然语言识别数据库3221来确定用户意图，在自然语言识别数据库3221中存储了用于识别用户输入的意图的语言特征。根据另一实施例，自然语言理解模块3220可以使用个性化语言模型(PLM)来确定用户意图。例如，自然语言理解模块3220可以使用个性化信息(例如，联系人列表和音乐列表)来确定用户输入。个性化语言模型可以存储在例如自然语言识别数据库3221中。根据实施例，不仅自然语言理解模块3220而且自动语音识别模块3210可以通过参考存储在自然语言识别数据库3221中的个性化语言模型来识别用户的语音。

根据实施例，自然语言理解模块3220可以基于参数和用户输入的意图生成路径规则。例如，自然语言理解模块3220可以基于用户输入的意图来选择要执行的应用，并且可以确定要在所选择的应用中执行的操作。自然语言理解模块3220可以通过确定对应于所确定的操作的参数来生成路径规则。根据实施例，由自然语言理解模块3220生成的路径规则可以包括要执行的APP、要由APP执行的操作、以及执行操作所必需的参数信息。

根据实施例，自然语言理解模块3220可以基于用户意图和参数生成一个路径规则或多个路径规则。例如，自然语言理解模块3220可以从路径规划器模块3230接收对应于用户终端3100的路径规则集，并且可以将用户输入的参数和意图映射到所接收的路径规则集，以便确定路径规则。

根据另一个实施例，自然语言理解模块3220可以确定要执行的APP、要在APP中执行的操作、以及基于用户输入的参数和意图来执行操作以便生成一个路径规则或多个路径规则所必需的参数。例如，自然语言理解模块3220可以使用用户终端3100的信息来根据用户输入的意图以本体或图形模型的形式在APP中安排要执行的APP和要执行的操作，以便生成路径规则。所生成的路径规则可以经由例如路径规划器模块3230存储在路径规则数据库(PRDB)3231中。所生成的路径规则可以被添加到数据库3231的路径规则集。

根据实施例，自然语言理解模块3220可以在多个生成的路径规则中选择至少一个路径规则。根据实施例，自然语言理解模块3220可以选择多个路径规则中的最佳路径规则。作为另一个示例，当基于用户语音仅指定一些操作时，自然语言理解模块3220可以选择多个路径规则。自然语言理解模块3220可以基于用户的附加输入来确定多个路径规则中的一个路径规则。

根据实施例，自然语言理解模块3220可以响应于用户输入向用户终端3100发送路径规则。例如，自然语言理解模块3220可以向用户终端3100发送与用户输入对应的一个路径规则。作为另一个示例，自然语言理解模块3220可以向用户终端3100发送与用户输入对应的多个路径规则。例如，当基于用户语音仅指定一些操作时，可以由自然语言理解模块3220生成多个路径规则。

根据实施例，路径规划器模块3230可以在多个路径规则中选择至少一个路径规则。

根据实施例，路径规划器模块3230可以将包括多个路径规则的路径规则集传送到自然语言理解模块3220。路径规则集的多个路径规则可以以表的形式存储在连接到路径规划器模块3230的路径规则数据库3231中。例如，路径规划器模块3230可以将与从智能代理3151接收的用户终端3100的信息(例如，OS信息和APP信息)对应的路径规则集传送到自然语言理解模块3220。存储在路径规则数据库3231中的表可以被存储用于例如每个域或域版本。路径规则规划也可以根据实现方式被称为动作顺序规划。

根据实施例，路径规划器模块3230可以从路径规则集中选择一个路径规则或多个路径规则，并且可以将所选择的一个路径规则或多个路径规则传送到自然语言理解模块3220。例如，路径规划器模块3230可以通过将参数和用户意图与对应于用户终端3100的路径规则集相匹配来选择一个路径规则或多个路径规则，并且可以将所选择的规则路径或多个规则路径传送到自然语言理解模块3220。

根据实施例，路径规划器模块3230可以基于用户意图和参数生成一个路径规则或多个路径规则。例如，路径规划器模块3230可以基于用户意图和参数通过确定要执行的应用和要在应用中执行的操作来生成一个或更多个路径规则。根据实施例，路径规划器模块3230可以将所生成的路径规则存储在路径规则数据库3231中。

根据实施例，路径规划器模块3230可以将在自然语言理解模块3220中生成的路径规则存储在路径规则数据库3231中。所生成的路径规则可以被添加到存储在路径规则数据库3231中的路径规则集中。

根据实施例，存储在路径规则数据库3231中的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。

根据实施例，对话管理器模块3240可以确定由自然语言理解模块3220识别的用户意图是否清楚。例如，对话管理器模块3240可以基于参数信息是否足够来确定用户意图是否清楚。对话管理器模块3240可以确定在自然语言理解模块3220中识别的参数是否足以执行任务。根据实施例，当用户意图不清楚时，对话管理器模块3240可以执行用于请求用户必需的信息的反馈。根据实施例，对话管理器模块3240可以执行用于请求用于识别用户意图的参数信息的反馈。

根据实施例，对话管理器模块3240可以包括内容提供方模块。当内容提供方模块能够基于自然语言理解模块3220所识别的参数和意图来执行操作时，内容提供方模块可以生成执行与用户输入对应的任务的结果。根据实施例，对话管理器模块3240可以响应于用户输入将由内容提供方模块生成的结果发送到用户终端3100。

根据实施例，自然语言生成模块(NLG)3250可以将指定信息更改为文本形式。改变成文本形式的信息可以是自然语言语音的形式。指定信息可以是，例如，附加输入的信息、指示对应于用户输入的操作完成的信息、或提示用户附加输入的信息(例如，用户输入的反馈信息)。改变成文本形式的信息可以被发送到用户终端3100并显示在显示器3120上，或者可以被发送到文本-语音模块3260并改变成语音形式。

根据实施例，文本-语音模块3260可以将文本形式的信息更改为语音形式的信息。文本-语音模块3260可以从自然语言生成模块3250接收文本形式信息，并且可以将文本形式信息更改为语音形式信息，以便将语音形式信息发送到用户终端3100。用户终端3100可以向扬声器3130输出语音形式信息。

根据实施例，自然语言理解模块3220、路径规划器模块3230和对话管理器模块3240可以实现为单个模块。例如，自然语言理解模块3220、路径规划器模块3230和对话管理器模块3240可以被实现为单个模块以确定参数和用户意图，并且可以生成对应于所确定的参数和用户意图的应答(例如，路径规则)。因此，所生成的应答可以被发送到用户终端3100。

图21是示出根据实施例的由路径规划器模块生成路径规则的方法的图。

参照图21，根据实施例，自然语言理解模块3220可以将APP的功能划分为单元操作A到F，并将其存储在路径规则数据库3231中。例如，自然语言理解模块3220可以在路径规则数据库3231中存储路径规则集，该路径规则集包括被划分为单元操作A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F的多个路径规则。

根据实施例，路径规划器模块3230的路径规则数据库3231可以存储用于执行APP的功能的路径规则集。路径规则集可以包括多个路径规则，其包括多个操作。在多个路径规则中，可以顺序地排列根据输入到相应的多个操作的参数执行的操作。根据实施例，可以以本体或图形模型形式配置多个路径规则，并将其存储在路径规则数据库3231中。

根据实施例，自然语言理解模块3220可以从多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中选择与用户输入的参数和意图对应的最优路径规则A-B1-C3-D-F。

根据实施例，当没有与用户输入完全匹配的路径规则时，自然语言理解模块3220可以向用户终端3100传送多个规则。例如，自然语言理解模块3220可以选择部分地对应于用户输入的路径规则(例如，A-B1)。自然语言理解模块3220可以选择包括部分对应于用户输入的路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)的一个或更多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，以便将所选择的路径规则传送到用户终端3100。

根据实施例，自然语言理解模块3220可以基于用户终端3100的附加输入来选择多个路径规则中的一个，并且可以将所选择的一个路径规则传送到用户终端3100。例如，自然语言理解模块3220可以根据经由用户终端3100执行的附加用户输入(例如，选择C3的输入)从多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中选择一个路径规则(例如，A-B1-C3-D-F)，并且可以将所选择的一个路径规则传输到用户终端3100。

根据另一实施例，自然语言理解模块3220可以确定对应于经由自然语言理解模块3220向用户终端3100另外输入的用户输入(例如，选择C3的输入)的参数或用户意图，并且可以向用户终端3100发送所确定的用户意图和参数。用户终端3100可以基于所发送的意图或参数从多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中选择一个路径规则(例如，A-B1-C3-D-F)。

因此，用户终端3100可以通过所选择的一个路径规则来完成应用3141和3143的操作。

根据实施例，当智能服务器3200接收到信息不足的用户输入时，自然语言理解模块3220可以生成部分地对应于接收到的用户输入的路径规则。例如，自然语言理解模块3220可以将部分对应的路径规则发送(①)到智能代理3151。智能代理3151可以将部分对应的路径规则发送(②)到执行管理器模块3153，并且执行管理器模块3153可以根据路径规则执行第一APP 3141。执行管理器模块3153可在执行第一应用3141的同时向智能代理3151传输(③)参数不充分的信息。智能代理3151可以使用不充分参数的信息向用户请求附加输入。当接收到用户的附加输入时(④)，智能代理3151可以向智能服务器3200发送并处理该附加输入。自然语言理解模块3220可以基于参数信息和附加用户输入的意图来生成添加的路径规则，并且可以将生成的添加的路径规则发送(⑤)到智能代理3151。智能代理3151可以通过向执行管理器模块3153发送(⑥)路径规则来执行第二APP 3143。

根据实施例，当智能服务器3200接收到省略了一些信息的用户输入时，自然语言理解模块3220可以向个性化信息服务器3300发送用户信息请求。个性化信息服务器3300可以向自然语言理解模块3220发送通过输入存储在角色数据库中的用户输入而获得的用户信息。自然语言理解模块3220可以使用用户信息来选择对应于其中省略了一些操作的用户输入的路径规则。因此，即使智能服务器3200接收到省略了一些信息的用户输入，自然语言理解模块3220也可以通过请求省略的信息来确定与用户输入对应的路径规则，以便接收附加输入或使用用户信息。

图22是示出根据实施例的处理器的上下文模块收集当前状态的图。

参照图22，当从智能代理3151接收(①)上下文请求时，上下文模块3155a可以从应用3141和3143请求(②)指示应用3141和3143的当前状态的上下文信息。根据实施例，上下文模块3155a可以从应用3141和3143接收(③)上下文信息，并且可以将接收到的上下文信息发送(④)到智能代理3151。

根据实施例，上下文模块3155a可以经由应用3141和3143接收多条上下文信息。例如，上下文信息可以是最近执行的应用3141和3143的信息。作为另一示例，上下文信息可以是应用3141和3143内的当前状态的信息(例如，当在图库中观看图片时，图片的信息)。

根据实施例，上下文模块3155a可以从设备平台以及应用3141和3143接收指示用户终端3100的当前状态的上下文信息。上下文信息可以包括一般上下文信息、用户上下文信息或设备上下文信息。

一般上下文信息可以包括用户终端3100的一般信息。可以通过经由设备平台的传感器集线器等接收数据经由内部算法来确定一般上下文信息。例如，一般上下文信息可以包括当前时间/空间的信息。当前时间/空间的信息可以包括例如用户终端3100的当前时间或当前位置的信息。可以基于用户终端3100上的时间来确定当前时间，并且可以使用全球定位系统(GPS)来确定关于当前位置的信息。例如，一般上下文信息可以包括关于物理运动的信息。关于物理运动的信息可以包括例如关于行走、跑步、驾驶等的信息。可以使用运动传感器来确定关于物理运动的信息。对于驾驶信息，驾驶可以通过运动传感器来确定，并且上车和停车可以通过与车辆的蓝牙的连接来确定。作为另一个示例，一般上下文信息可以包括用户活动信息。用户活动信息可以包括例如通勤、购物、旅行等的信息。用户活动信息可以使用用户或应用在数据库中注册的地点的信息来确定。

用户上下文信息可以包括用户的信息。例如，用户上下文信息可以包括关于用户的情绪状态的信息。关于用户的情绪状态的信息可以包括例如关于用户的幸福、悲伤、愤怒等的信息。作为另一个示例，用户上下文信息可以包括关于用户当前状态的信息。关于用户当前状态的信息可以包括例如关于兴趣、意图等(例如，购物)的信息。

一般上下文信息可以包括关于用户终端3100的状态的信息。例如，设备上下文信息可以包括关于由执行管理器模块3153执行的路径规则的信息。作为另一个示例，设备信息可以包括电池信息。例如，可以通过电池的充电或放电状态来确定电池信息。作为另一个示例，设备信息可以包括连接的设备信息和网络信息。所连接的设备信息可以例如经由连接到该设备的通信接口来确定。

图23是示出根据实施例的角色模块对用户信息的管理的图。

参照图23，角色模块3155b可以从应用3141和3143、执行管理器模块3153或上下文模块3155a接收关于用户终端3100的信息。应用3141和3143以及执行管理器模块3153可以在操作日志数据库中存储通过执行应用的操作3141b和3143b而获得的结果信息。上下文模块3155a可以将关于用户终端3100的当前状态的信息存储在上下文数据库中。角色模块3155b可以从操作日志数据库或上下文数据库接收所存储的信息。存储在操作日志数据库和上下文数据库中的数据可以由例如分析引擎来分析，并且可以被发送到角色模块3155b。

根据实施例，角色模块3155b可以向建议模块3155c发送从应用3141和3143、执行管理器模块3153或上下文模块3155a接收的信息。例如，角色模块3155b可以将存储在操作日志数据库或上下文数据库中的数据发送到建议模块3155c。

根据实施例，角色模块3155b可以向个性化信息服务器3300发送从应用3141和3143、执行管理器模块3153或上下文模块3155a接收的信息。例如，角色模块3155b可以周期性地向个性化信息服务器3300发送在操作日志数据库或上下文数据库中积累和存储的数据。

根据实施例，角色模块3155b可以将存储在操作日志数据库或上下文数据库中的数据发送到建议模块3155c。由角色模块3155b生成的用户信息可以存储在角色数据库中。角色模块3155b可以周期性地将存储在角色数据库中的用户信息发送到个性化信息服务器3300。根据实施例，由角色模块3155b发送到个性化信息服务器3300的信息可以被存储在角色数据库中。个性化信息服务器3300可以使用存储在角色数据库中的信息来推断生成智能服务器3200的路径规则所必需的用户信息。

根据实施例，使用由角色模块3155b发送的信息推断的用户信息可以包括简档信息或偏好信息。简档信息或偏好信息可以从用户的账户和累积信息推断。

简档信息可以包括用户的个人信息。例如，简档信息可以包括用户的人口统计信息。人口统计信息可以包括例如用户的性别、年龄等。作为另一个示例，简档信息可以包括生活事件信息。例如，可以通过将日志信息与生活事件模型进行比较来推断生活事件信息，并且可以通过分析行为模式来加强生活事件信息。作为另一个示例，简档信息可以包括兴趣信息。兴趣信息可以包括，例如，感兴趣的购物物品、感兴趣的领域(例如，体育、政治等)等。作为另一个示例，简档信息可以包括活动区域信息。活动区域信息可以包括例如关于家庭、工作场所等的信息。活动区域信息不仅可以包括关于地点位置的信息，还可以包括基于累积停留时间和访问次数记录优先级的区域的信息。作为另一个示例，简档信息可以包括活动时间信息。活动时间信息可以包括例如唤醒时间、通话时间、睡眠时间等的信息。可以使用活动区域信息(例如，家庭和工作场所的信息)来推断通勤时间的信息。可以基于用户终端3100未被使用的时间来推断睡眠时间的信息。

偏好信息可以包括用户偏好信息。例如，简档信息可以包括关于应用偏好的信息。可以从例如APP的使用历史(例如，时间特定和地点特定的使用记录)推断APP偏好。应用偏好可用于根据用户的当前状态(例如，时间和地点)来确定要执行的应用。作为另一个示例，偏好信息可以包括联系人偏好信息。例如，可以通过分析联系信息的联系频率(例如，时间特定的联系频率和地点特定的联系频率)来推断联系人偏好。联系人偏好可用于根据用户的当前状态(例如，重复姓名的联系人)来确定联系人的联系人信息。作为另一个示例，偏好信息可以包括设置信息。设置信息可以通过例如分析特定设置值的配置频率信息(例如，对特定于时间和地点的设置值执行配置的频率)来推断。设置信息可用于根据用户的当前状态(例如，时间、地点或情况)来配置特定的设置值。作为另一个示例，偏好信息可以包括地点偏好。地点偏好可以从例如特定地点的访问记录(例如，特定于时间的访问记录)推断。位置偏好可用于根据用户的当前状态(例如，时间)来确定要访问的位置。作为另一个示例，偏好信息可以包括命令偏好。命令偏好可以从例如命令使用频率(例如，特定于时间和地点的使用频率)推断。命令偏好可用于根据用户的当前状态(例如，时间和地点)来确定要使用的指令模式。特别地，命令偏好可以包括用户在正在执行的应用的当前状态下最常选择的菜单的信息，该信息是通过分析日志信息而获得的。

图24是说明根据本发明的实施例的建议模块的框图。

参照图24，建议模块3155c可以包括提示提供模块3155c_1、上下文提示生成模块3155c_2、条件检查模块3155c_3、条件模型模块3155c_4、重用提示生成模块3155c_5或介绍提示生成模块3155c_6。

根据实施例，提示提供模块3155c_1可以向用户提供提示。例如，提示提供模块3155c_1可以接收从上下文提示生成模块3155c_2、重用提示生成模块3155c_5或介绍提示生成模块3155c_6生成的提示，以便向用户提供生成的提示。

根据实施例，上下文提示生成模块3155c_2可以生成可以经由条件检查模块3155c_3或条件模型模块3155c_4根据当前状态推荐的提示。条件检查模块3155c_3可以经由智能服务模块3155接收对应于当前状态的信息，并且条件模型模块3155c_4可以使用所接收的信息来配置条件模型。例如，条件模型模块3155c_4可以识别在向用户提供提示时使用的时间、位置、情况和应用，并且可以向用户提供可能以优先级降序在相应条件下使用的提示。

根据实施例，重用提示生成模块3155c_5可以生成可以考虑根据当前状态的使用频率而被推荐的提示。例如，重用提示生成模块3155c_5可以考虑用户的使用模式来生成提示。

根据实施例，介绍提示生成模块3155c_6可以生成向用户介绍新特征或另一用户经常使用的特征的提示。例如，介绍新功能的提示可以包括对智能代理3151的介绍(例如，操作方法)。

根据另一个实施例，上下文提示生成模块3155c_2、条件检查模块3155c_3、条件模型模块3155c_4、重用提示生成模块3155c_5、或者建议模块3155c的介绍提示生成模块3155c_6可以被包括在个性化信息服务器3300中。例如，建议模块3155c的提示提供模块3155c_1可以从用户个性化信息服务器3300的上下文提示生成模块3155c_2、重用提示生成模块3155c_5或介绍提示生成模块3155c_6接收提示，以便向用户提供所接收的提示。

根据实施例，用户终端3100可以根据以下过程顺序来提供提示。例如，当提示提供模块3155c_1从智能代理3151接收(①)提示提供请求时，提示提供模块3155c_1可以向上下文提示生成模块3155c_2发送(②)提示生成请求。在接收到提示生成请求时，上下文提示生成模块3155c_2可以通过使用(③)条件检查模块3155c_3从上下文模块3155a和角色模块3155b接收(④)对应于当前状态的信息。条件检查模块3155c_3可以将接收到的信息发送(⑤)到条件模型模块3155c_4，并且条件模型模块3155c_4可以使用该信息以对于提供给用户的提示中的条件的可用性的降序向提示分配优先级。上下文提示生成模块3155c_2可以确认(⑥)条件并且可以生成对应于当前状态的提示。上下文提示生成模块3155c_2可以将所生成的提示发送(⑦)到提示提供模块3155c_1。提示提供模块3155c_1可以根据指定的规则来安排提示，并且可以将提示发送(⑧)到智能代理3151。

根据实施例，提示提供模块3155c_1可以生成多个上下文提示，并且可以根据指定的规则将优先级分配给多个上下文提示。根据实施例，提示提供模块3155c_1可以首先向用户提供在多个上下文提示中具有较高优先级的提示。

根据实施例，用户终端3100可以根据使用频率来建议提示。例如，当提示提供模块3155c_1从智能代理3151接收(①)提示提供请求时，提示提供模块3155c_1可以向重用提示生成模块3155c_5发送(②)提示生成请求。在接收到提示生成请求时，重用提示生成模块3155c_5可以从角色模块3155b接收(③)用户信息。例如，重用提示生成模块3155c_5可以接收包括在角色模块3155b的用户偏好信息中的路径规则、包括在路径规则中的参数、APP的执行频率以及APP所使用的时空信息。重用提示生成模块3155c_5可以生成与接收到的用户信息对应的提示。重用提示生成模块3155c_5可以向提示提供模块3155c_1发送(④)所生成的提示。提示提供模块3155c_1可以安排提示，并且可以向智能代理3151发送(⑤)提示。

根据实施例，用户终端3100可以提出对新功能的提示。例如，当提示提供模块3155c_1从智能代理3151接收(①)提示提供请求时，提示提供模块3155c_1可以向介绍提示生成模块3155c_6发送(②)提示生成请求。介绍提示生成模块3155c_6可以从建议服务器3400发送(③)介绍提示提供请求，以便从建议服务器3400接收(④)关于要介绍的功能的信息。例如，建议服务器3400可以存储要被介绍的功能的信息，并且用于要被介绍的功能的提示列表可以由服务运营商来更新。介绍提示生成模块3155c_6可以将所生成的提示发送(⑤)到提示提供模块3155c_1。提示提供模块3155c_1可以安排提示，并且可以向智能代理3151发送(⑥)提示。

因此，建议模块3155c可以向用户提供由上下文提示生成模块3155c_2、重用提示生成模块3155c_5或介绍提示生成模块3155c_6生成的提示。例如，建议模块3155c可以在操作智能代理3151的应用上显示所生成的提示，并且可以接收输入以经由应用从用户选择提示。

根据各种实施例的电子装置的操作方法可以包括：接收包括使用电子装置执行任务的请求的第一用户输入；将与第一用户输入相关联的数据发送到外部服务器；从外部服务器接收包括电子装置的多状态的信息的应答，电子装置具有顺序并且被配置为执行任务；接收到应答后，通过配置成使多状态具有顺序来执行任务；接收第二用户输入，该第二用户输入包括取消所执行任务中的至少一些任务的请求；以及至少基于第二用户输入，返回具有顺序的多状态中的一个状态。

根据各种实施例的电子装置的操作方法还可以包括：发送用于第二用户输入的数据；以及从外部服务器接收另一应答。另一应答可以允许电子装置返回到具有该顺序的多状态中的一个状态。

根据各种实施例的通过配置成具有顺序的多状态来执行任务可以包括显示与具有顺序的多状态相关联的图像或屏幕中的至少一个。

根据各种实施例的电子装置的操作方法可以进一步包括：当第二用户输入包括取消所有执行的任务的请求时，基于第二用户输入返回到电子装置具有包括顺序的状态之前的状态。

根据各种实施例的电子装置的操作方法可以包括：接收包括执行第一任务的请求的第一用户输入；将与第一用户输入相关联的第一数据发送到外部服务器；从外部服务器接收第一应答，第一应答包括电子装置的第一多状态的第一信息，第一多状态的第一信息具有顺序并且被配置为执行任务；在接收到第一应答后，通过配置成使第一多状态具有顺序来执行第一任务；接收包括执行第二任务的第二请求的第二用户输入；以及将第一信息的至少一部分和与第二用户输入相关联的第二数据发送到外部服务器。

根据各种实施例的第二用户输入可以包括取消所执行的第一任务的至少一部分的请求。

根据各种实施例的电子装置的操作方法还可以包括基于第二用户输入的至少一部分返回到第一多状态中的一个状态。

根据各种实施例的电子装置的操作方法可以包括：显示第一屏幕；在显示第一屏幕的同时获取第一用户语音；显示与对应于第一用户语音的多个任务中的第一任务相关联的第二屏幕，取代第一屏幕；显示与对应于第一用户语音的多个任务中的第二任务相关联的第三屏幕取代第二屏幕；在显示第三屏幕的同时，获取多个任务中的至少一些任务的取消命令；使用取消命令的分析结果选择第一屏幕或第二屏幕中的一个，并显示所选择的屏幕。

根据各种实施例的取消命令可以包括对所有多个任务的取消请求。根据各种实施例，通过使用取消命令的分析结果以及显示所选择的屏幕来选择第一屏幕或第二屏幕中的一个可以包括：取消所有的多个任务；并且显示第一屏幕。

根据各种实施例的取消命令可以进一步包括执行至少一个其他任务的请求，其他任务至少部分不同于多个任务。根据各种实施例，通过使用取消命令的分析结果以及显示所选择的屏幕来选择第一屏幕或第二屏幕中的一个可以包括：取消所有的多个任务；在显示第一屏幕之后，显示与至少一个其他任务相关联的第四屏幕，取代第一屏幕。

根据各种实施例的取消命令可以包括对多个任务中的一些任务的取消请求。根据各种实施例，通过使用取消命令的分析结果并显示所选择的屏幕来选择第一屏幕或第二屏幕中的一个可以包括：取消多个任务中的一些任务；显示第二屏幕。

根据各种实施例的取消命令还可以包括执行与多个任务至少部分不同的至少一个其他任务的请求。根据各种实施例，通过使用取消命令的分析结果并显示所选择的屏幕来选择第一屏幕或第二屏幕中的一个可以包括：取消多个任务中的一些任务；在显示第二屏幕后，显示与至少一个其他任务相关联的第五屏幕，取代第二屏幕。

根据各种实施例的取消命令还可以包括执行与多个任务至少部分不同的至少一个其他任务的请求。根据各种实施例，通过使用取消命令的分析结果并显示所选择的屏幕来选择第一屏幕或第二屏幕中的一个可以包括：取消多个任务中的一些任务；以及在取消一些任务的同时，显示被配置为执行另一任务的第六屏幕，取代第二屏幕。

根据各种实施例的第二屏幕可以是紧接在显示第三屏幕之前显示的屏幕、对应于需要附加用户输入以便执行另一任务的状态的屏幕、以及紧接在使用中的应用改变之后的屏幕中的一个。

根据各种实施例的电子装置的操作方法还可以包括：将关于第一用户语音的数据发送到外部服务器；接收与第一用户语音对应的多个任务；将取消命令上的数据发送至外部服务器；接收取消命令的分析结果。

根据各种实施例的电子装置的操作方法可以包括：通过对第一用户语音执行数据的自动语音识别(ARS)处理来获取第一文本；通过对第一文本进行自然语言理解NLU处理，获取多个任务。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项目的任意一项目或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一个元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一个元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多其他部件的情况下调用存储在存储介质中的所述一个或更多指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play Store

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多部件，或者可添加一个或更多其他部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多操作可按照不同的顺序来运行或被省略，或者可添加一个或更多其他操作。

尽管已经用各种实施例描述了本公开，但是本领域技术人员可以得到各种改变和修改的启示。本公开旨在涵盖落入所附权利要求书的范围内的这种变化和修改。