首页> 中国专利> 通过人工智能进行紧急性和情绪状态匹配以用于自动安排

通过人工智能进行紧急性和情绪状态匹配以用于自动安排

摘要

在本公开内容的非限制性示例中,提出了用于在协助安排会议时将用户语调与数字助理响应类型和语调进行匹配的系统、方法和设备。电子消息可以由数字助理服务接收。数字助理服务可以检测安排会议的意图,并识别与消息相关联的紧急性级别。数字助理可以利用具有与所识别的紧急性级别相对应的语调的消息来对进行安排的用户进行响应。数字助理还可以用与进行安排的用户的紧急性级别一致的方式来执行用于安排会议的后续动作。例如,如果存在与消息相关联的较高紧急性,则数字助理可以尝试以较高优先级的方式来安排会议,而如果存在与消息相关联的较低紧急性,则数字助理可以尝试以较低优先级的方式来安排会议。

著录项

  • 公开/公告号CN113228074A

    专利类型发明专利

  • 公开/公告日2021-08-06

    原文格式PDF

  • 申请/专利权人 微软技术许可有限责任公司;

    申请/专利号CN201980081447.7

  • 申请日2019-12-03

  • 分类号G06Q10/10(20060101);

  • 代理机构72002 永新专利商标代理有限公司;

  • 代理人贾丽萍

  • 地址 美国华盛顿州

  • 入库时间 2023-06-19 12:07:15

说明书

背景技术

数字助理已经与个人任务和商业任务的许多部分集成在一起。用户已经习惯于使用数字助理来获取路线、查看天气以及启动与其他人的实时通信(例如,找到要呼叫的联系人、发起电话或视频通话)。由于已经向数字助理给予了对电子邮件功能、日历和联系人列表的访问,因此用户已经开始利用其数字助理来安排与其他用户的会议和预约。但是,尽管数字助理通常在那些当面交流时很好地完成了对命令的响应,但它们通常没有考虑人类助理在高效安排会议时通常使用的某些特定于上下文的用户提示。

针对该一般技术环境,已经考虑了本文公开的本技术的各方面。此外,尽管已经讨论了一般环境,但是应当理解,本文描述的示例不应当局限于在背景中所识别的一般环境。

发明内容

提供本发明内容以便以简化的形式对下面在具体实施方式部分中进一步描述的设计构思的选择进行介绍。本发明内容并不旨在标识要求保护的主题的关键特征或重要特征,也不旨在用于协助确定要求保护的主题的范围。示例的其他方面、特征和/或优点将部分地在下面的描述中阐述,并且部分地将从描述中显而易见或者可以通过本公开内容的实施来学习。

本公开内容的非限制性示例描述了用于协助安排会议的系统、方法和设备。电子消息可以由数字助理服务接收。当数字助理服务接收到该消息时,它可以对其进行分析以识别与该消息相关联的用户意图。如果识别出了“安排会议”意图,则数字助理服务可以将一个或多个处理模型应用于消息,以确定与“安排会议”意图相关联的时间分量以及与“安排会议”意图相关联的紧急性分量/级别。例如,数字助理服务可以将序列到序列的标记模型应用于消息的主体,以确定会议要发生的时间范围,并且数字助理服务可以将二元分类模型应用于消息的主体,以确定与“安排会议”意图相关联的紧急性级别。一旦数字助理服务针对消息识别出了这两个分量,它就可以将消息的紧急性级别与响应语调/类型进行匹配,并至少基于所识别的紧急性级别来执行一个或多个后续动作以安排相应的会议。在一些示例中,与“安排会议”意图相关联的用户的强调级别也可以被识别并且被用于确定如何对“安排会议”意图进行响应和/或跟进。

附图说明

参考以下附图描述了非限制性和非穷举性示例。

图1是示出了示例分布式计算环境的示意图,该分布式计算环境用于通过数字助理服务和人工智能利用用户紧急性与情绪状态匹配处理技术来协助安排会议,其中“强烈的语调”与用户紧急性和/或情绪状态相匹配。

图2示出了另一个示例,其中,利用人工智能的数字助理服务利用用户紧急性与情绪状态匹配处理技术来协助安排会议,其中“温和的语调”与用户紧急性和/或情绪状态相匹配。

图3示出了用于示出示例分布式计算环境的示意图,该分布式计算环境用于通过用户话语来识别用户的紧急性和情绪状态,并利用那些属性来协助安排会议。

图4示出了示例响应矩阵,该响应矩阵可由数字助理服务用于基于确定的用户强调级别和会议紧急性来识别适当的处理要求和用于响应会议命令的响应。

图5是用于协助安排会议的示例性方法。

图6和图7是可以用来实施本公开内容的方面的移动计算设备的简化图。

图8是示出可以用来实施本公开内容的方面的计算设备的示例物理组件的框图。

图9是可以在其中实施本公开内容的方面的分布式计算系统的简化框图。

具体实施方式

将参考附图详细描述各种实施例,其中,贯穿若干视图,相同的附图标记表示相同的部件和组件。对各个实施例的引用不限制所附权利要求的范围。另外,在本说明书中阐述的任何示例都不意图是限制性的,而仅阐述了所附权利要求的许多可能的实施例中的一些。

本公开内容的示例提供了用于基于对用户命令的分析来协助安排会议的系统、方法和设备。用户命令可以作为电子消息被接收,例如电子邮件、文本消息、直接数字助理应用消息,以及一些示例中的口头命令。在一些示例中,数字助理服务可以基于在电子消息中(例如,在电子消息的主体中)引用的数字助理和/或明确地包括在电子消息(例如,在“收件人”字段中,在“抄送”字段中)中的数字助理来从用户接收电子消息。当数字助理服务接收到电子消息时,它可以将一种或多种自然语言处理模型应用于该消息的内容,并确定与该消息相关联的用户意图和/或命令。如果数字助理服务确定存在与消息相关联的“安排会议”意图,则它可以进一步分析消息中的文本内容,与消息关联的信号(例如,消息中包括的用户的标签、时间戳、域,等等),和/或发送消息的用户的身体/声音特征(例如,肢体语言、面部表情、声音音量),在可用的情况下,利用一段或多段该数据来确定与“安排会议”意图相关联的紧急性级别和/或与用户相关联的强调级别。在分析电子消息时,数字助理服务可以应用第一处理模型(例如序列到序列标记模型)以确定与要安排的会议相关联的时间出现/分量,以及应用第二处理模型(例如二元分类模型)以确定与电子消息相关联的紧急性级别/分量。可以通过已经由人类手动分类的预分类数据集来训练一个或多个消息处理模型,直到获得足够的准确度级别为止。

在确定与电子消息相关联的紧急性级别和/或强调级别后,数字助理服务可以将响应语调与其已识别出的紧急性级别和/或强调级别相匹配。例如,如果检测到相对较高的紧急性级别,则数字助理服务可以以该紧急性级别的确认来对用户进行响应,以可以基于与可能具有相同的意思但在较不紧急的场景中传达不同语调的词语相比的提高的紧急性选择的不同词语来进行响应,和/或调整可听响应的节奏或音量以匹配紧急性级别。同样,如果检测到相对较低的紧急性级别,则数字助理服务可以以正常方式对用户进行响应而无需考虑处理消息的紧急性级别,选择更温和的响应语言和/或使用较低的节奏和/或音量以匹配较低的紧急性级别。在一些示例中,可以利用响应矩阵来确定适当的响应类型和/或语调以对用户进行响应。矩阵可以是单轴的(例如,针对紧急性或强调),或多轴的(例如,针对紧急性和强调二者)。在一些示例中,数字助理服务可以用与所识别的紧急性级别和/或强调级别一致的方式来执行后续动作。例如,如果与消息相关联的紧急性级别很高,则数字助理服务可以为了必要的会议信息更频繁地向潜在的会议参与者发送回显信息(ping)(如果他们没有立即提供该信息的话)。在另一示例中,如果与会议相关联的紧急性相对较低(例如,用于进行会议的可选日期,用于进行会议的可选时间,用于进行会议的可选持续时间,等等),则数字助理服务可以向潜在的会议参加者提供更多选项。

本文描述的系统、方法和设备提供了用于协助安排会议和处理数字助理命令的技术优势。根据示例,当数字助理服务识别/确定与“安排会议”命令相关联的紧急性和/或强调级别时,其可以相对于与其已经接收到的一个或多个其他“安排会议”命令相关联的紧急性和/或强调级别来优先处理该命令。因此,如果存在数字助理服务已接收到的命令队列,则与它们相关联的具有最高紧急性和/或强调级别的消息可以移至队列的前面。以这种方式,与处理大量命令或在低网络速度环境中处理的任何数量的命令相关联的计算机处理成本(CPU周期)和存储器存储成本有效地指向了最紧急的处理命令。此外,通过利用数字助理服务基于紧急性级别来执行后续动作,可以减少与安排用户在执行这些动作时必须利用其客户端设备资源相关联的处理成本,在某些情况下,将这些负载转移到运行数字助理服务的服务器设备上,在这些服务器设备上可以更高效地处理这些动作。

图1是示出了示例分布式计算环境100的示意图,该分布式计算环境100用于通过数字助理服务和人工智能利用用户紧急性与情绪状态匹配处理技术来协助安排会议,其中“强烈的语调”与用户紧急性和/或情绪状态相匹配。计算环境100包括会议命令子环境102、网络和处理子环境110以及会议后续动作子环境118。本文所述的每个计算设备可以经由有线或无线网络(例如网络112)彼此通信。

会议命令子环境102包括计算设备104,用户106“查尔斯”在其上草拟了电子邮件108。数字助理包含在电子邮件108的“收件人”字段中,另一个用户“沃伦”包含在电子邮件108的“抄送”字段中。电子邮件108的主题行指出“项目X事项”,电子邮件正文指出:“

数字助理服务在接收到电子邮件108时,可以从消息的主题和正文、与电子邮件108相关联的任何标签以及与消息相关联的其他数据(例如,发送者身份、接收者身份、时间戳、附件等)中提取文本。数字助理服务可以将一种或多种自然语言处理模型应用于从电子邮件108中提取的文本,并确定是否存在与该消息相关联的命令。在该示例中,数字助理服务确定存在与电子邮件108相关联的会议意图/命令。一旦已经识别出会议意图/命令,数字助理服务就可以对电子邮件108进行分析,并确定消息中是否包含参数,该消息可以用来协助安排与用户106的识别出的“会议意图”相对应的会议。

在一些示例中,在识别与电子邮件108相关联的特定意图及其特定参数(例如,会议时间、会议地点、会议类型等)时,数字助理服务可以利用以下一种或多种模型来处理电子邮件108中的自然语言内容,这些模型包括:分层注意力模型、使用聚类的主题检测、隐马尔可夫模型、最大熵马尔可夫模型、支持向量机模型、决策树模型、深度神经网络模型、通用序列到序列模型(例如,条件概率递归神经网络、变换器网络)、生成模型、用于特征提取器的递归神经网络(例如长短期记忆模型、GRU模型)、用于逐词分类的深层神经网络模型,以及潜在变量图形模型。在一个示例中,数字助理可以利用序列到序列模型来识别与电子邮件108相关联的时间参数,并利用二元分类模型来识别与电子邮件108相关联的紧急性级别。在一些示例中,紧急性级别可以是值、可能的最大紧急性的百分比,和/或所识别的紧急性与可能的最大紧急性之比。在另外的示例中,可以基于紧急性级别的值、百分比和/或比率来对紧急性级别进行分类(例如,紧急性级别可以被分类为高、中、低等)。可以在手动分类的数据集(例如训练数据存储单元116中的数据集)上训练由数字助理服务应用于电子邮件108的一个或多个处理模型。例如,可以使用人类已经针对其将紧急性级别手动分类的消息来训练二元分类模型,并且可以利用人类已经针对其将各种会议参数(例如会议时间和/或持续时间)手动分类的消息来手动训练序列到序列模型。

基于其对以上讨论的各种模型中的一个或多个模型的应用,数字助理服务可以确定:电子邮件108具有与之相关联的时间参数,介于发送和/或接收电子邮件108的日期和时间(基于与电子邮件108相关联的时间戳)和与星期五(电子邮件108的正文中包括的日期)相对应的日期之间。该时间参数对应于用户106希望与Warren针对项目X进行会议的日期/时间参数。基于其对上文讨论的各种模型中的一个或多个模型的应用,数字助理服务还可以确定与电子邮件108相关联的紧急性级别。例如,短语“不晚于”可以对应于相对较高的紧急性级别。在示例中,数字助理服务可以将响应类型与所确定的时间参数和/或紧急性级别进行匹配。在一些示例中,数字助理服务可以利用矩阵来将响应类型与所确定的时间参数和/或紧急性级别进行匹配,如结合图4更全面地讨论的。因此,如在该示例中,紧急性级别被确定为相对较高,并且数字助理服务以与该紧急性相匹配的“语调”来对查尔斯做出响应。因此,如在会议后续动作子环境118中在计算设备120(其可以是与计算设备104相同或不同的设备)上显示的那样,数字助理服务已响应于电子邮件108向用户106(查尔斯)发送了电子邮件122,该电子邮件指出:“嗨,查尔斯,我知道你迫切需要在星期五之前见面。我将与另一方联系以尽快预定会议。”该响应仅出于示例性目的,并且可以附加地或替代地利用与电子邮件108的高紧急性级别相匹配的其他消息类型。

根据一些示例,数字助理服务还可以基于所确定的被分析消息的紧急性,以各种方式执行与协助安排会议相关联的后续动作。例如,如果与其相关联的消息具有较高的紧急性,则与针对具有与之相关联的相对较低紧急性的消息的操作相比,数字助理服务可能会为了安排会议所需的信息更频繁地和/或更多次地向参加者发送回显信息。

数字助理服务可以将处理优先级级别与从电子邮件108识别的确定的紧急性和/或时间参数进行匹配。例如,因为可能存在要由数字助理服务处理的消息队列,所以数字助理服务可以基于与那些消息相关联的紧急性级别和/或时间参数来对那些消息的处理进行优先级排序。因此,在一些示例中,与某个消息相关联的所确定的紧急性越高,则该消息在对其进行处理的数字助理中可以具有越高的优先级,从而响应和/或执行附加的后续动作。同样,与某个消息相关联的所确定的紧急性越低,则该消息在对其进行处理的数字助理中可以具有越低的优先级,从而响应和/或执行附加的后续操作。在另外的示例中,时间参数可以附加地或可替代地是数字助理服务在对要处理的消息进行优先级排序时所考虑的因素。例如,如果确定用户打算在相对长的时间范围(例如,三周、三个月等)内安排会议,则数字助理服务可以优先处理用户打算在相对较短的时间范围内(例如,一个星期,“不晚于星期五”等)安排会议的其他消息。以这种方式,数字助理服务可以有效地管理与处理大量消息/命令相关联的处理成本。

图2示出了另一个示例计算环境200,其中,利用人工智能的数字助理服务利用用户紧急性与情绪状态匹配处理技术来协助安排会议,其中“温和的语调”与用户紧急性和/或情绪状态相匹配。计算环境200包括会议命令子环境202以及会议后续动作子环境218。数字助理服务可以全部或部分驻留在一个或多个服务器计算设备上,为了便于说明,未将其与通信网络一起显示。

在该示例中,用户206“查尔斯”已经在计算设备204上撰写了电子邮件208。电子邮件208包括“收件人”字段中的[数字助理],“抄送”字段中的另一个用户“沃伦”,以及主题行“项目X事项”。因此,在大多数情况下,电子邮件208与图1中的电子邮件108类似。但是,电子邮件208指出“

一旦数字助理服务确定电子邮件208包括用户206的安排会议的意图/命令,数字助理服务就可以将一种或多种自然语言处理模型应用于从电子邮件208提取的文本,以确定与会议相关联的一个或多个参数,并确定与电子邮件208相关联的紧急性级别。例如,基于将序列到序列标记模型应用于所提取的文本,数字助理服务可以确定:用于安排会议的时间参数是“在星期五之前”,并且基于将二元分类模型应用于所提取的文本,数字助理服务可以确定与电子邮件208相关联的紧急性级别。在一些示例中,可以在手动分类的数据集上训练序列到序列标记模型和二元分类模型中的一个或这二者,并且数字助理服务因此可以能够确定会议参数和紧急性级别达到与该训练相对应的确定性程度。

在该示例中,除了确定用于安排会议的时间参数是“在星期五之前”以外,数字助理服务还确定存在与电子邮件208相关联的低紧急性级别。这样,数字助理将其响应与低紧急性级别相匹配,如后续动作子环境218中的电子邮件222所示,其显示在计算设备220(可以是与计算设备204相同或不同的计算设备)上。具体而言,从[数字助理]到用户206(查尔斯)的电子邮件222指出:嗨,查尔斯,我知道你想在星期五之前见面。我将与另一方联系并安排会议。因此,与图1中的数字助理的答复不同,电子邮件222具有与其相关联的较低的紧急性程度(例如,其确实明确地确认了与消息相关联的紧急性,并且其不包括紧急性术语,例如“我将尽快联系另一方以预定会议”)。

图3示出了用于示出示例分布式计算环境300的示意图,该分布式计算环境300用于通过用户话语来识别用户的紧急性和情绪状态,并利用那些属性来协助安排会议。计算环境300包括用户话语子环境302、网络和处理子环境312、响应子环境316、第一后续动作子环境322以及第二后续动作子环境332。

在用户话语子环境302中,用户304A(帕梅拉)在数字助理设备306A的可听范围内讲话时说:“[数字助理]-我们必须在接下来的两周内就项目X召开一次团队会议。请安排”,如话语308所示。数字助理设备306A能够检测与话语308相关联的各种语音属性,例如频率和幅度,其可以用于确定与话语308相关联的紧急性级别和/或用户304A的知觉状态。因此,当帕梅拉在话语308中强调词语“必须召开”时,数字助理设备306A能够检测到该特征和/或将与该特征相对应的信息发送给数字助理服务进行处理。

在一些示例中,基于用户304A在话语308中包括术语[数字助理],数字助理设备306A可以经由网络314接收话语306A,并且将其发送到数字助理服务,数字助理服务可以驻留在一个或多个服务器计算设备(例如服务器计算设备313)上。本文考虑了用于“唤醒”数字助理设备306A和/或具有发给数字助理服务的话语的其他机制,例如与按钮交互、利用其他语音命令和关键字等。

当数字助理服务接收到话语308时,它可以利用一种或多种自然语言处理模型来确定与话语308相关联的用户意图,确定与所确定的意图相关联的一个或多个参数,以及确定与话语308相关联的紧急性和/或强调级别。在该示例中,数字助理服务确定存在与话语308相关联的会议意图/命令。一旦已经识别出会议意图/命令,数字助理服务就可以确定话语308中是否包含其可以用来协助安排与用户304A的会议意图相对应的会议的参数(例如,会议时间、会议地点、会议类型等)。在确定话语308中是否包括数字助理可以用来协助安排会议的参数时,数字助理服务可以利用以下一种或多种模型来处理话语308,这些模型包括:分层注意力模型、使用聚类的主题检测、隐马尔可夫模型、最大熵马尔可夫模型、支持向量机模型、决策树模型、深度神经网络模型、通用序列到序列模型(例如,条件概率递归神经网络、变换器网络)、生成模型、用于特征提取器的递归神经网络(例如长短期记忆模型、GRU模型)、用于逐词分类的深层神经网络模型,以及潜在变量图形模型。

在具体示例中,数字助理服务可以利用序列到序列模型来识别与话语308相关联的时间参数,并利用二元分类模型来识别与话语308相关联的紧急性级别。数字助理服务可以附加地或替代地将一个或多个韵律特征处理模型应用于语音输入,以确定与话语308相关联的紧急性级别和/或强调级别。所确定的紧急性级别和/或强调级别可以是值、可能的最大值的百分比和/或所识别的紧急性和/或强调与可能的最大紧急性和/或强调的比率。在另外的示例中,可以基于紧急性级别和/或强调级别的值、百分比和/或比率来对其进行分类(例如,分类为高、中、低等)。可以在手动分类的数据集上训练由数字助理服务应用于话语308的一个或多个处理模型。例如,可以使用人类已经针对其将紧急性级别和/或强调级别手动分类的话语来训练二元分类模型,以及可以利用人类已经针对其将各种会议参数(例如会议时间和/或持续时间)手动分类的消息来手动训练序列到序列模型。

在该示例中,基于一个或多个上述模型的应用,数字助理服务确定存在与话语308相关联的高紧急性级别和/或强调级别。因此,数字助理服务识别与该紧急性级别和强调级别相匹配的语调和响应类型,并通过数字助理设备306B以话语318进行回复,在话语318中指出:“没问题,帕梅拉!我已经开始寻找会议的时间,我将尽快回复您!”数字助理设备306A和306B可以是相同或不同的设备,其中数字助理设备306A接收来自第一用户304A的话语308,而数字助理设备306B则为用户304B产生话语318。在一些示例中,基于与话语308相关联的高紧急性,数字助理服务可以根据该级别对话语的处理进行优先级排序。例如,如果存在已经由数字助理服务接收到的电子消息和/或话语的队列要进行处理,则数字助理服务可以在与之相关联的具有相对较低优先级的电子消息和/或话语之前,优先处理与之相关联的具有相对较高优先级的电子消息和/或话语。以这种方式,数字助理服务可以确保在可用处理资源有限的情况下快速响应高优先级/紧急性消息,然后,当有更多的处理资源被释放和/或从队列中移除了高优先级/紧急性消息时,移至较低优先级的消息。在另外的示例中,与针对具有距离当前日期更远的或者持续时间更长的安排窗口的会议的电子消息和/或话语相比,数字助理服务可以为针对具有更接近当前日期和时间的安排窗口的会议的电子消息和/或话语分配更高的处理优先级。在另外的示例中,数字助理服务可以基于紧急性级别和/或何时需要安排会议的组合来对电子消息和/或话语的处理进行优先级排序。在另外的示例中,对于给定的话语或电子消息,优先级排序上的紧急性级别的权重可以小于、等于或大于会议日期/窗口的权重。

在一些示例中,数字助理服务可以访问与用户304A的帐户/简档中的一个或多个相关联的辅助信息。例如,用户304A可能已经明确地向数字助理服务提供了对其日历、电子邮件和/或联系人信息的访问。因此,当数字助理服务对话语308进行处理时,它可以从先前的会议邀请中识别出“项目X”,并针对新会议识别出曾被邀请参加先前会议的一个或多个潜在参加者。在该示例中,该参加者是沃伦328A/328B。具有对用户304A的电子邮件和/或联系人信息的访问的数字助理服务可以识别第二用户328A/328B“沃伦”的联系信息,并将电子消息发送到沃伦的帐户和/或设备之一。在该示例中,如第一后续动作子环境322所示,数字助理向显示在计算设备324A上的沃伦发送320电子消息326。电子消息326指出:“沃伦-你是否可以在任何下列日期/时间与帕梅拉见面?-[日期/时间1]。-[日期/时间2]。-[日期/时间3]。-[日期/时间3]。-[日期/时间4]。”

根据示例,基于与话语相关联的紧急性级别、与话语相关联的强调级别和/或需要安排的会议的日期/时间,为了数字助理服务安排会议所需的信息,数字助理服务可以或多或少地向用户发送回显信息。例如,如果数字助理服务确定与话语和/或电子消息相关联的紧急性级别很高,或者在不久的将来需要安排会议,则和针对具有与之相关联的较低紧急性的话语和/或电子消息,或者针对可以安排得更远的会议相比,为了它所需要的信息,数字助理服务可能会更频繁地向受邀者发送回显信息。此外,对于具有较高紧急性、强调级别的话语和/或电子消息和/或需要被尽快安排的会议,数字助理服务可以减少其在确定其安排相应会议所需的信息时向用户提供的选择的数量。因此,在该示例中,在存在与话语308相关联的高紧急性级别,并且第二用户328A/328B在阈值持续时间(由于话语/会议的紧急性质,该阈值持续时间可能较短)内未对电子消息326做出响应的情况下,数字助理服务通过向用户328A/328B发送330电子消息334来对用户328A、328B发送回显信息,该电子消息显示在第二后续动作子环境332中的计算设备324B上。电子消息指出:“沃伦-帕梅拉需要尽快与团队见面。你可以在[日期/时间1]见面吗?”因此,电子消息不仅具有呈现给用户328A/328B的更少选择,而且还包括与话语308的紧急性相对应的与其相关联的紧急性级别。

在一些示例中,如果数字助理服务确定不存在精确满足会议请求参数的可用会议选项,则数字助理服务可以修改其确定的优先级较低的请求属性之一(例如,会议的持续时间、星期几等)。例如,如果用户最初请求一个小时的会议(或者如果用户的默认偏好是一个小时的会议),则数字助理服务可能会认为这是由于会议参加者的紧急性和可用性(或缺乏紧急性和可用性),会议应该预定在四十五分钟的时隙内,因为这是参加者互相都可行的唯一持续时间。

图4示出了示例响应矩阵400,该响应矩阵可由数字助理服务用于基于确定的用户强调级别和会议紧急性来识别适当的处理要求和用于响应会议命令的响应。响应矩阵400包括在X轴上的用户的紧急性级别和在Y轴上的用户的强调级别。响应矩阵400包括四个象限,每个象限与至少一个响应语调和/或类型以及至少一个处理要求相关联,该处理要求用于基于与用户的“安排会议”命令相关联的用户的检测到的强调级别和紧急性级别来对用户的“安排会议”命令进行处理。

响应于在第一象限402中绘制用户的“安排会议”命令,其对应于与“安排会议”命令相关联的用户的高强调级别但低紧急性级别,数字助理服务可以用相对温和的响应语调/类型对用户进行响应。另外,响应于在第一象限402中绘制用户的“安排会议”命令,相对于数字助理服务已经接收到的其他用户命令,数字助理服务可以分配相对较低的优先级来处理该命令。在一些示例中,分配给第一象限402中的命令的相对较低的处理优先级与在第三象限406中绘制的命令的优先级相比可以相对较高,但是与在第二象限404和第四象限408中绘制的命令的优先级相比可以相对较低。

响应于在第二象限404中绘制用户的“安排会议”命令,其对应于与“安排会议”命令相关联的用户的高强调级别和高紧急性级别,数字助理服务可以用相对强烈的响应语调/类型对用户进行响应。另外,响应于在第二象限404中绘制用户的“安排会议”命令,相对于数字助理服务已经接收到的其他用户命令,数字助理服务可以分配最高的优先级来处理该命令。分配给第二象限404中的命令的最高处理优先级可以相对高于在第一象限402、第三象限406和第四象限408中的每个象限中绘制的命令的优先级。

响应于在第三象限406中绘制用户的“安排会议”命令,其对应于与“安排会议”命令相关联的用户的低强调级别和低紧急性级别,数字助理服务可以用最不强烈的响应语调/类型对用户进行响应。另外,响应于在第三象限406中绘制用户的“安排会议”命令,相对于数字助理服务已经接收到的其他命令,数字助理服务可以分配最低的优先级来处理该命令。分配给第三象限406中的命令的最低处理优先级可以相对低于在第一象限402、第二象限404和第四象限408中的每个象限中绘制的命令的优先级。

响应于在第四象限408中绘制用户的“安排会议”命令,其对应于与“安排会议”命令相关联的用户的低强调级别但高紧急性级别,数字助理服务可以用相对温和的响应语调/类型对用户进行响应。另外,响应于在第四象限408中绘制用户的“安排会议”命令,相对于数字助理服务已经接收到的其他命令,数字助理服务可以分配相对中等的优先级来处理该命令。分配给第四象限408中的命令的相对中等的处理优先级可以相对更低于第二象限404中的命令的优先级,但是相对高于第一象限402和第三象限406中的每个象限的命令的优先级。

图5是用于协助安排会议的示例性方法500。方法500开始于开始操作并且流程继续进行到操作502。

在操作502处,从进行安排的用户接收电子消息。该消息由数字助理服务接收。在一些示例中,可以经由电子邮件或其他电子消息输入、操作系统中的输入字段等来接收消息。在一些示例中,消息仅包括自然语言。在其他示例中,消息可以包括自然语言,例如电子邮件正文中的语言,以及附加信息。附加信息可以包括一个或多个标签或输入到一个或多个字段(例如“收件人”字段、“抄送”字段、位置标签、会议类型标签等)中的信息以及附件。在一些示例中,附加信息可以附加地或可替代地包括元数据,例如与消息的创建相关联的时间戳、与编辑消息相关联的时间戳等。

从操作502,流程继续进行到操作504,在该操作处,从电子消息中检测到安排会议的意图。在示例中,可以通过对与消息相关联的一个或多个标签(例如,安排会议标签、会议地点标签)进行分析来检测安排会议的意图。在其他示例中,可以基于消息要寄送给数字助理和/或数字助理包括在消息正文中来检测安排会议的意图(即,数字助理的主要用途可以是安排会议)。在另外的其他示例中,可以基于将一种或多种自然语言处理模型应用于消息和/或以上各项的组合来检测安排会议的意图。

除了检测安排会议的意图之外,数字助理服务还可以识别与会议相关联的一个或多个会议参数。例如,数字助理可以通过应用一个或多个处理模型来识别会议要发生的地点、会议要发生的时间、会议要发生的日期、会议要发生的时间窗口、要参加会议的参加者、会议类型等。在示例中,数字助理服务可以在识别与电子消息关联的一个或多个会议参数时应用以下模型中的一个或多个:分层注意力模型、使用聚类的主题检测、隐马尔可夫模型、最大熵马尔可夫模型、支持向量机模型、决策树模型、深度神经网络模型、通用序列到序列模型(例如,条件概率递归神经网络、变换器网络)、生成模型、用于特征提取器的递归神经网络(例如长短期记忆模型、GRU模型)、用于逐词分类的深层神经网络模型,以及潜在变量图形模型。

从操作504,流程继续进行到操作506,在该操作中,识别与电子消息相关联的紧急性级别。在确定与消息相关联的紧急性级别时,可以将一种或多种上述模型应用于消息。在一些示例中,用户可以用紧急性级别来为消息手动添加标签,并且数字助理可以利用该标签来自动表征消息。在具体示例中,数字助理服务可以利用二元分类模型来识别与消息相关联的紧急性级别。在一些示例中,发送消息的用户的情绪状态和/或强调级别可以由数字助理服务基于应用于电子消息的一个或多个感知分析模型的应用来确定。可以附加地或替代地确定与消息相关联的紧急性级别来识别用户的情绪状态和/或强调级别。

从操作506,流程继续进行到操作508,在该操作中,以与从电子消息中识别出的紧急性级别相对应的语调将对电子消息的响应发送到进行安排的用户。在一些示例中,可以基于一个或多个矩阵的应用将响应的语调与识别出的紧急性级别和/或强调级别相匹配,如上文针对图4所描述的。在通过数字助理服务识别出强调级别或紧急性级别中单个一项的示例中,可以应用线性矩阵(例如,单个轴)。例如,如果仅识别出与消息相关联的紧急性级别,则可以使具有沿单个紧急性轴的语调的响应与所识别的紧急性级别进行匹配。同样地,如果仅识别出与用户相关联的强调级别,则可以使具有沿单个强调轴的语调的响应与所识别的用户的强调级别进行匹配。或者,如果强调级别和紧急性级别二者由数字助理服务识别出,则多轴矩阵可以用于由数字助理服务识别适当的响应。考虑了使响应语调与紧急性级别和/或强调级别相匹配的其他机制(将得分值应用于紧急性级别和/或强调级别,将紧急性级别和/或强调级别的得分值与响应类型/语调相匹配,对紧急性级别和/或强调级别进行加权,等等)。

从操作508,流程继续进行到操作510,在该操作中,由数字助理服务执行用于安排会议的一个或多个后续动作。在一些示例中,执行后续动作的类型和/或机制可以由与消息和/或用户相关联的紧急性级别和/或强调级别来指示。例如,数字助理服务可以向要参加正在安排的会议的一个或多个用户发送消息,并且基于提高的所识别的紧急性级别和/或强调级别,为了必要的信息,数字助理服务可以更频繁地向那些用户发送回显信息(如果他们没有回复的话)。在另一示例中,当存在与“安排会议”消息相关联的相对较低的紧急性级别和/或强调级别时,数字助理服务可以向潜在的会议参加者发送较多的时间和/或日期选项,以及当存在与“安排会议”消息相关联的相对较高的紧急性级别和/或强调级别时,数字助理服务可以向潜在的会议参加者发送较少的选项。

流程从操作510继续到结束操作,并且方法500结束。

图6和图7示出了可用来实施本公开内容的实施例的移动计算设备600,例如,移动电话、智能电话、可穿戴计算机(例如智能眼镜)、平板计算机、电子阅读器、膝上型计算机或其他与AR兼容的计算设备。参考图6,示出了用于实现这些方面的移动计算设备600的一个方面。在基本配置中,移动计算设备600是具有输入单元和输出单元二者的手持计算机。移动计算设备600通常包括显示器605和允许用户向移动计算设备600输入信息的一个或多个输入按钮610。移动计算设备600的显示器605也可用作输入设备(例如,触摸屏显示器)。如果包括,那么可选的侧输入单元615允许进一步的用户输入。侧输入单元615可以是旋转开关、按钮、或任何其他类型的手动输入单元。在替换方面中,移动计算设备600可以并入更多或更少的输入单元。例如,在一些实施例中,显示器605可以不是触摸屏。在又一个替换实施例中,移动计算设备600是便携式电话系统,如蜂窝电话。移动计算设备600还可以包括可选键盘635。可选键盘635可以是物理键盘或在触摸屏显示器上生成的“软”键盘。在各个实施例中,输出单元包括:用于展示图形用户界面(GUI)的显示器605、视觉指示器620(例如,发光二极管)、和/或音频转换器625(例如,扬声器)。在一些方面中,移动计算设备600并入用于向用户提供触觉反馈的振动传感器。在又一个方面,移动计算设备600并入输入和/或输出端口,如音频输入(例如,麦克风插孔)、音频输出(例如,耳机插孔)、以及用于向外部设备发送信号或从外部设备接收信号的视频输出(例如,HDMI端口)。

图7是示出移动计算设备的一个方面的架构的框图。也就是说,移动计算设备700可并入系统(即,架构)702来实现一些方面。在一个实施例中,系统702实现为能够运行一个或多个应用(例如,浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面中,系统702集成为计算设备,如集成个人数字助理(PDA)和无线电话。

一个或多个应用程序766可以载入存储器762中,并在操作系统864上运行或与操作系统664关联地运行。应用程序的示例包括:电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768可用于存储如果系统702掉电不应该丢失的持久信息。应用程序766可使用和存储非易失性存储区域768中的信息,如由电子邮件应用使用的电子邮件或其他消息等。同步应用(未示出)也位于系统702上,并且被编程用于与驻留在主机计算机上的相应同步应用进行交互,以保持存储在非易失性存储区域768中的信息与存储在主机计算机处的相应信息同步。应该明白:其他应用可载入存储器762中并在移动计算设备700上运行,包括用于提供和操作数字助理计算平台的指令。

系统702具有电源770,其可实现为一个或多个电池。电源770可能还包括外部电源,如AC适配器或对电池进行补充或再充电的供电的底座。

系统702还可以包括执行发送和接收射频通信的功能的无线电接口层772。无线电接口层772经由通信载波或服务提供商来促进系统702与“外部世界”之间的无线连接。去往和来自无线电接口层772的传输在操作系统764的控制下进行。换句话说,由无线电接口层772接收的通信可经由操作系统764传播到应用程序766,反之亦然。

视觉指示器620可用于提供视觉通知,和/或音频接口774可用于经由音频转换器625产生可听见的通知。在示出的实施例中,视觉指示器620是发光二极管(LED),而音频转换器625是扬声器。这些设备可直接耦合到电源770,以便当被激活时,它们在由通知机制指示的一段时间期间保持工作状态,即使处理器760和其他组件可能关闭以节省电池功率。可将LED编程为一直处于工作状态直到用户采取动作来指示设备的上电状态。音频接口774用于向用户提供可听见的信号以及从用户接收可听见的信号。例如,除了耦合到音频转换器625之外,音频接口774还可以耦合到麦克风来接收可听见的输入,例如以促进电话交谈。根据本公开内容的实施例,如同下文将描述的,麦克风还可以用作音频传感器来促进对通知的控制。系统702还可以包括视频接口776,其使能板上照相机630的操作以记录静止图像、视频流等。

实现系统702的移动计算设备700可具有额外的特征或功能。例如,移动计算设备700还可以包括额外的数据存储设备(可移除和/或不可移除的),如磁盘、光盘,或磁带。这些额外的存储单元在图7中由非易失性存储区域768示出。

由移动计算设备700生成或捕捉并经由系统702存储的数据/信息可以如上所述本地存储在移动计算设备700上,或者数据可存储在可由设备经由无线电接口层772或经由移动计算设备700与和移动计算设备700相关联的单独的计算设备(例如,分布式计算网络(如互联网)中的服务器计算机)之间的有线连接访问的任意数量的存储介质上。应该明白的是:可经由无线电接口层772或经由分布式计算网络,经由移动计算设备700来访问这样的数据/信息。类似地,这样的数据/信息可根据公知的数据/信息传输和存储手段(包括电子邮件和协作式数据/信息共享系统)容易地在计算设备之间传输来存储和使用。

FIG8是示出可以用来实施本公开内容的方面的计算设备800的物理组件(例如,硬件)的框图。下文描述的计算设备组件可以具有用于协助安排会议的计算机可执行指令。在基本配置中,计算设备800可以包括至少一个处理单元802和系统存储器804。取决于计算设备的配置和类型,系统存储器804可以包括但不限于:易失性存储单元(例如,随机存取存储器)、非易失性存储单元(例如,只读存储器)、闪存器或这样的存储器的任何组合。系统存储器804可以包括适于运行一个或多个数字助理程序的操作系统805。例如,操作系统805可以适于控制计算设备800的操作。另外,本公开内容的实施例可以结合图形库、其他操作系统或任何其他应用程序来实施,并且不局限于任何特定的应用或系统。这种基本配置在图8中由虚线808之内的那些组件示出。计算设备800可以具有额外的特征或功能。例如,计算设备800还可以包括额外的数据存储设备(可移除和/或不可移除的),例如,如磁盘、光盘或磁带。这样的额外的存储单元在图8中由可移除存储设备809和不可移除存储设备810示出。

如上所述,多个程序模块和数据文件可以存储在系统存储器804中。当在处理单元802上执行时,程序模块806(例如,数字助理会议应用820)可以执行包括但不限于如本文所述方面的过程。根据示例,紧急性检测引擎811可以执行与将一种或多种语言处理模型应用于消息中的自然语言并确定与会议安排相关联的紧急性级别相关联的一个或多个操作。强调检测引擎813可以执行与确定与已经向数字助理服务发送“安排会议”命令的用户相关联的强调级别相关联的一个或多个操作。强调检测引擎813可以在确定强调级别时分析命令的词汇和/或韵律特征。强调检测引擎813可以在确定用户的强调级别时附加地或替代地分析用户的面部表情、身体举止、心率等。消息队列处理引擎815可以至少基于与所接收的命令中的一个或多个命令相关联的紧急性级别,执行与在对由数字助理服务接收的命令进行处理时分配相对优先级相关联的一个或多个操作。语调匹配引擎817可以基于与会议命令和/或发送会议命令的用户相关联的所识别的紧急性级别和/或强调级别,执行与将响应语调和/或响应类型与所接收的会议命令进行匹配相关联的一个或多个操作。

另外,本公开内容的实施例可以在包括下列各项的电路中实施:分立电子元件、包含逻辑门的封装或集成的电子芯片、使用微处理器的电路,或者在包含电子元件或微处理器的单个芯片上。例如,本公开内容的实施例可以经由片上系统(SoC)实施,其中,图8所示的组件中的每个或许多组件可以集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能,所有这些可以集成(或“烧制”)到芯片基板上作为单个集成电路。当经由SOC操作时,本文中针对客户端切换协议的能力描述的功能可以经由与单个集成电路(芯片)上的计算设备800的其他组件集成在一起的应用专用逻辑单元来进行操作。还可以使用能够执行逻辑运算(诸如,例如,AND、OR和NOT)的其他技术来实施本公开内容的实施例,这些技术包括但不限于:机械、光学、流体和量子技术。此外,可以在通用计算机内或在任何其他电路或系统中实施本公开内容的实施例。

计算设备800还可以具有一个或多个输入设备812,如键盘、鼠标、笔、声音或语音输入设备、触摸或轻扫输入设备等。还可以包括诸如显示器、扬声器、打印机等的输出设备814。前述设备是示例,并且可以使用其他设备。计算设备800可以包括允许与其他计算设备850的通信的一个或多个通信连接816。合适的通信连接816的示例包括但不限于:射频(RF)发射机、接收机、和/或收发机电路、通用串行总线(USB)、并行和/或串行端口。

本文中所使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括用于存储诸如计算机可读指令、数据结构或程序模块之类的信息的、以任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。系统存储器804、可移除存储设备809以及不可移除存储设备810都是计算机存储介质示例(例如,存储器存储单元)。计算机存储介质可以包括:RAM、ROM、电可擦写只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储单元、磁带盒、磁带、磁盘存储单元或其他磁存储设备、或者可用于存储信息且可由计算设备800访问的任何其他制品。任何这样的计算机存储介质可以是计算设备800的一部分。计算机存储介质不包括载波波形或其他传播或调制的数据信号。

通信介质可以体现为计算机可读指令、数据结构、程序模块或调制数据信号(如载波波形)或其他传输机制中的其他数据并且包括任何信息传递介质。术语“调制数据信号”可以描述具有一个或多个特性集合或以对信号中的信息进行编码的方式改变的信号。通过举例而非限制的方式,通信介质可以包括诸如有线网络或直接线连接的有线介质,以及诸如声音、射频(RF)、红外线和其他无线介质的无线介质。

图9示出了用于对在计算系统处从远程源(例如如上所述的个人/通用计算机904、平板计算设备906或移动计算设备908)接收的数据进行处理的系统的架构的一个方面。在服务器设备902处显示的内容可以被存储在不同的通信信道或其他存储类型中。例如,可使用目录服务922、门户网站924、邮箱服务926、即时消息传送存储单元928或社交网站930来存储各种文档。程序模块806可以由与服务器设备902通信的客户端使用,和/或程序模块806可以由服务器设备902使用。服务器设备902可以通过网络915向诸如个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如,智能电话)之类的客户端计算设备提供数据或提供来自这些客户端计算设备的数据。通过举例的方式,上文针对图6-图8描述的计算机系统可以在个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如,智能电话)中体现。除了接收可用于在图形发起系统处进行预处理或在接收计算系统处进行后处理的图形数据之外,计算设备的这些实施例中的任何一个实施例都可以从存储单元916获得内容。

例如,在上文中参考根据本公开内容的方面的方法、系统和计算机程序产品的框图和/或操作说明描述了本公开内容的方面。这些框中指出的功能/动作可以不按任何流程图中示出的顺序发生。例如,显示为相继的两个框实际上可基本并行执行,或者这些框有时可以以相反的次序执行,这取决于所涉及的功能/动作。

本申请中提供的一个或多个方面的描述和图示不旨在以任何方式来局限或限制要求保护的公开内容的范围。认为本申请中提供的方面、示例和细节足以传递占有权,并使他人能够制造和使用要求保护的公开内容的最佳模式。要求保护的公开内容不应被解释为局限于本申请中所提供的任何方面、示例或细节。不管是以组合的方式或还是单独示出及描述,各个特征(结构性和方法性的)旨在被选择性地包括或省略以产生具有特征的特定集合的实施例。已经提供了本公开内容的描述和说明,本领域技术人员可设想在不脱离所要求保护的公开内容的更广泛范围的、落入本申请中体现的总的发明构思的更广泛的方面的精神内的变体、修改和替代方面。

上述各个实施例仅以说明的方式提供,并且不应被解释为限制所附权利要求。本领域技术人员将容易认识到,在不遵循本文示出和描述的示例实施例和应用的情况下,并且在不脱离所附权利要求的真实精神和范围的情况下,可以进行各种修改和改变。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号