用于与人工智能系统互动和界面交互的系统和方法

摘要

本公开提供了包括或以其它方式利用人工智能系统和/或提供特别适合于与人工智能系统互动和/或界面交互的用户界面机制的系统和方法。一种计算系统可以包括相机、发光设备和包括一个或更多个机器学习模型的人工智能系统。该计算系统可以包括处理器和存储指令的一个或更多个非暂时性计算机可读介质，所述指令当被运行时使处理器：获取由相机捕获的场景的图像；产生描述场景的至少一个区域的注意力输出，所述至少一个区域包括由人工智能系统执行的处理操作的对象；以及控制发光设备将光发射到场景的包括由人工智能系统执行的处理操作的对象的区域上或发射到邻近该区域。

说明书

相关申请

本申请要求享有2018年7月2日提交的美国专利申请第16/025,632号的优先权和权益。美国专利申请第16/025,632号通过引用全文合并于此。

技术领域

本公开总体上涉及包括人工智能系统和/或机器学习模型的计算设备。更具体地，本公开涉及特别适合于与人工智能系统互动和/或界面交互(interface)的系统和方法。

背景技术

包括或以其它方式利用人工智能系统的手持式设备或以其它方式便携的设备具有许多应用。示例包括执行与“个人助理”相关联的操作，诸如回答设备的用户提出的问题、预期用户提出的问题、向用户提供建议等。然而，此类设备的常规形状因数缺乏用于使人工智能系统与物理世界互动和/或以高效或直观可理解的方式将信息传达给用户的机制。另外，此类设备会在用户可能更偏向于设备不要收集数据(例如，音频或视觉信息)时不合心意地收集所述数据。这样的数据收集会破坏用户对设备的信心或信任，并降低设备的可用性或有效性。

发明内容

本公开的实施例的方面和优点将在以下描述中被部分地阐述，或者可以从描述中获知，或者可以通过实施例的实施而获知。

本公开的一个示例方面针对计算系统，其包括相机、发光设备、包括一个或更多个机器学习模型的人工智能系统、一个或更多个处理器和共同存储指令的一个或更多个非暂时性计算机可读介质，所述指令当由所述一个或更多个处理器运行时使计算系统：获取由相机捕获的场景的图像；产生描述场景的至少一个区域的注意力输出，所述至少一个区域包括由人工智能系统执行的处理操作的对象；以及控制发光设备将光发射到场景的包括由人工智能系统执行的处理操作的对象的所述至少一个区域上或发射到邻近所述至少一个区域。

本公开的另一个示例方面针对一种手持式计算设备。该设备具有伸长的圆筒形本体，该伸长的圆筒形本体具有第一端和沿着本体的纵向轴线与第一端相反的第二端。该设备具有位于本体的第一端的显示屏。该设备具有一个或更多个处理器和共同存储指令的一个或更多个非暂时性计算机可读介质，所述指令当由所述一个或更多个处理器运行时使手持式计算设备：接收描述虚拟物体的数据，其中，虚拟物体在三维空间中具有虚拟位置；在显示屏上显示虚拟物体的一部分，其中，虚拟物体的显示在显示屏上的该部分具有沿着在本体的当前姿势下从本体的第二端起的纵向轴线的投影的虚拟位置；以及响应于本体从当前姿势到新姿势的移动，更新显示屏，使得显示屏显示虚拟物体的新部分，该新部分具有沿着在本体的新姿势下从第二端起的纵向轴线的投影的虚拟位置。

本公开的另一示例方面涉及一种计算系统，其包括具有端部的伸长的圆筒形本体、邻近端部设置的屏幕、配置为产生输出和与输出相关联的置信度值的机器学习模型、一个或更多个处理器以及共同存储指令的一个或更多个非暂时性计算机可读介质，所述指令当由所述一个或更多个处理器运行时使计算系统在屏幕上显示置信度图形，该置信度图形以图形方式描述与机器学习模型的输出相关联的置信度值。

本公开的另一示例方面针对一种计算系统，其包括配置为接收输入的机器学习模型、一个或更多个处理器和共同存储指令的一个或更多个非暂时性计算机可读介质，所述指令当由所述一个或更多个处理器运行时使计算系统：选择性地收集关于周围环境的信息；将收集到的信息的至少一部分输入到机器学习模型中作为输入；选择性地从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个，数据收集模式包括允许收集模式和禁止收集模式，其中，在允许收集模式下，计算系统被允许从周围环境收集信息，以及其中，在禁止收集模式下，计算系统被禁止从周围环境收集信息；以及提供对计算系统的当前数据收集模式的指示，当前数据收集模式是从所述多个数据收集模式中选择的。

本公开的其它方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

本公开的各种实施例的这些及其它特征、方面和优点将参考以下描述和所附权利要求被更好地理解。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并与描述一起用于解释相关原理。

附图说明

在本说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，该详细讨论参考附图，其中：

随附示例图。下面提供了对附图的简要描述：

图1A描绘了示例计算系统的框图，该示例计算系统提供根据本公开的示例实施例的用于与人工智能系统互动和/或界面交互的用户界面机制。

图1B描绘了根据本公开的示例实施例的示例计算设备的框图。

图1C描绘了根据本公开的示例实施例的示例计算设备的框图。

图2A描绘了根据本公开的示例实施例的简化示例人工智能系统的框图。

图2B描绘了根据本公开的示例实施例的简化示例人工智能系统的框图。

图2C描绘了根据本公开的示例实施例的简化示例人工智能系统的框图。

图3描绘了根据本公开的示例实施例的具有伸长的圆筒形本体的示例计算系统。

图4A描绘了根据本公开的示例实施例的握着发射光的示例计算系统的用户的手。

图4B描绘了根据本公开的示例实施例的握着将光发射到场景上的示例计算系统的用户的手。

图5A描绘了根据本公开的示例实施例的示例计算系统，该示例计算系统具有伸长的圆筒形本体和正在显示置信度图形的显示屏。

图5B描绘了根据本公开的示例实施例的示例置信度图形。

图6A和图6B描绘了根据本公开的示例实施例的示例计算系统的透视图，该示例计算系统包括具有第一部分的本体，该第一部分相对于第二部分分别在第一状态和第二状态下可移动。

图6C和图6D描绘了提供对两个不同的数据收集模式的指示的示例计算系统。

图7A描绘了根据本公开的示例实施例的操纵示例计算系统的用户的手，该示例计算系统具有用于向用户显示视觉信息的显示屏。

图7B描绘了根据本公开的示例实施例的方法的简化图，该方法用于使用图7A的示例计算系统向用户显示视觉信息。

图8A描绘了根据本公开的示例实施例的示例计算系统的透视图，该示例计算系统包括处于打开配置的对接(docking)设备。

图8B描绘了根据本公开的示例实施例的示例计算系统的透视图，该示例计算系统包括处于闭合配置的对接设备。

图9A描绘了根据本公开的示例实施例的另一示例计算系统，该另一示例计算系统包括设置在计算系统的本体的周界(circumferential)表面上的显示屏。

图9B描绘了被握在用户手中的图9A的计算系统。

图10A描绘了根据本公开的示例实施例的图9A和图9B的计算系统的透视图，该计算系统包括处于第一配置的对接设备。

图10B描绘了根据本公开的示例实施例的图9A和图9B的计算系统的透视图，该计算系统包括处于第二配置的对接设备。

图11A至图11C描绘了提供对各种不同数据收集模式的指示的示例计算系统。

图12描绘了根据本公开的示例实施例的示例方法的框图，该示例方法用于传达关于由人工智能系统执行的处理操作的对象的信息。

图13描绘了根据本公开的示例实施例的示例方法的框图，该示例方法用于将视觉信息传达给计算设备的用户。

图14描绘了根据本公开的示例实施例的示例方法的框图，该示例方法用于提供对与计算系统相关联的当前数据收集模式的指示。

在多个附图中重复的附图标记旨在标识各种实施方式中的相同特征。

具体实施方式

概述

本公开的示例方面针对包括或以其它方式利用人工智能系统和/或配置为提供将会特别适合于与人工智能系统互动和/或界面交互的用户界面机制的计算系统和手持式设备。具体地，本公开的方面针对一种手持式设备，其具有书写笔或手写笔的形状因数，并包括利用设备的各种特征与用户和/或物理环境的其它方面智能互动的设备上人工智能系统。例如，在一些实施方式中，人工智能系统可以包括一个或更多个机器学习模型，并可配置为诸如通过回答问题、提供建议或可例如基于对用户的当前环境和/或期望的情境理解的其它动作而用作“个人助理”。为了有助于这里描述的各种特征，设备可以收集有关其当前环境的信息，诸如音频和视频记录。重要的是，可以向用户提供控件，该控件允许用户对这里描述的设备、程序或特征是否以及何时可启用用户信息(例如，音频记录、视频、图像)的收集进行选择。此外，某些数据在其被存储或使用之前可以以一种或更多种方式来处理，从而移除个人身份信息。例如，可以处理用户的身份，使得无法针对该用户确定个人身份信息。因此，用户可以对关于该用户收集什么信息、如何使用该信息以及向用户提供什么信息进行控制。

作为能够实现与用户和其他人类的智能互动的一个示例特征，在一些实施方式中，设备可以包括和控制发光设备以指示人工智能系统在现实世界中的“注视”。例如，设备可以将发光设备用作定点器，以将用户的注意力吸引到特定物体上。备选地或另外地，用户可以操纵发光设备的取向以选择某个物体来引起人工智能系统的注意。

更具体地，在一些实施方式中，计算设备(例如，手持式设备)可以包括相机(例如，广角或宽视场相机)、发光设备(例如，诸如激光发射器或投影仪)和如所描述的人工智能系统。计算设备可以获取由相机捕获的场景图像，并且可以生成注意力输出，该注意力输出描述场景的至少一个区域，所述至少一个区域包括由人工智能系统执行的处理操作的对象。例如，处理操作的对象可以是正在被识别、分析或与人工智能系统的输出(诸如对用户提出的问题的答案或对用户发布的命令的响应)相关联的物体。设备可以控制发光设备将光发射到场景的包括由人工智能系统执行的处理操作的对象的所述至少一个区域上或发射到邻近所述至少一个区域。

发射到场景上或发射到邻近场景的光可以向计算设备的用户指示人工智能系统的“焦点”或“注意力”的对象。因此，用户被提供有关系统的焦点的反馈。如果系统的焦点不是用户所需的焦点，则使用由发射到场景上或发射到邻近场景的光提供的反馈，诸如通过用户定向设备使得用户所需的焦点在设备的相机的视场中更居中和/或更大，用户可以操纵设备，诸如以使其提供用户所需的焦点。另外，所发射的光还可以指示人工智能系统的结果或输出。例如，人工智能系统可以配置为响应于计算设备的用户提出的查询来选择场景的区域。例如，用户可以(例如，通过说出问题)向计算设备提出有关场景的问题或命令，并且人工智能系统可以生成注意力输出，该注意力输出回答或尝试回答用户的问题或命令。

作为示例，用户可以将计算设备的相机对准一组物体。人工智能系统可以生成与物体中的至少一个相关联的注意力输出，并且计算设备可以将所发射的光控制为到场景的一区域上或邻近场景的一区域，使得所发射的光指示人工智能系统的关于物体中的至少一个的分析或识别的状态。作为另一示例，用户可以问关于场景中的哪个物体(哪些物体)满足标准的问题，并且计算设备可以以指示人工智能系统已响应于该问题而选择的至少一个物体的方式发射光。

作为另一示例，用户可以将计算设备的相机指向表面上具有字迹或标记的表面。人工智能系统可以以表明人工智能系统已识别和/或解释了该字迹或标记的方式将光发射到该表面上。例如，所发射的光可以勾勒、划线、或以其它方式标识字迹或标记中的一个或更多个，这可以指示对有关该字迹或标记的问题的答案。

在一些实施方式中，人工智能系统可以包括机器学习选择模型，该机器学习选择模型配置为接收场景的图像，并且作为响应，提供注意力输出，该注意力输出描述场景的包括对象的至少一个区域。机器学习选择模型可以包括物体识别模型，并且场景的该区域可以包括由物体识别模型识别出的至少一个物体。作为示例，可以训练物体识别模型以识别在图像中描绘的物体，并输出识别物体及其在图像中的各个位置的信息。人工智能系统可以(例如，响应于来自用户的问题或命令)选择物体中的一个或更多个以生成注意力输出。除了物体识别模型之外或代替物体识别模型，可以使用其它类型或形式的计算机视觉。

在一些实施方式中，计算设备可以包括容纳相机、发光设备、人工智能系统、一个或更多个处理器和/或存储器的伸长的圆筒形本体。作为示例，伸长的圆筒形本体可以大致为笔或手写笔的大小，使得计算设备可以被容易地握在用户的手中。在其它实施方式中，计算设备可以包括易于握在用户手中的具有任何合适的大小和形状的本体。

在一些实施方式中，相机可以邻近伸长的圆筒形本体的第一端设置。用户可以根据需要定向伸长的圆筒形本体以定位相机。这样的配置可以允许用户根据用户期望容易地指挥人工智能系统的“注意力”。在一些实施例中，发光设备可以在伸长的圆筒形本体的第一端处邻近相机设置。作为示例，相机可以包括最外面的透镜或盖，并且发光设备可以设置在最外面的透镜或盖后方，使得用户从伸长的圆筒形本体的外部看不到发光设备。

在一些实施方式中，计算设备可以配置为调整光相对于计算设备的发射方向，使得当计算设备(以及因此发光设备)相对于场景移动时，光继续发射到场景的包括所述对象的所述至少一个区域上或发射到邻近所述至少一个区域。作为示例，用户可以调整例如计算设备相对于场景的位置，以更好地观看计算设备的显示屏。尽管计算设备(包括发光设备)移动，但计算设备仍可以调整发光方向，使得光继续指示由人工智能系统执行的操作的对象。

在进一步的示例中，用户可以定位计算设备，使得计算设备的相机在其视场内具有用户的脸部。用户可以讲话(例如，大声地或无声地，仅移动嘴唇)，并且人工智能系统可以执行唇读或其它形式的语音处理(例如，与嘴唇的捕获图像结合的音频处理)，以确定用户说了什么。在另一示例中，计算设备可以执行脸部或生物特征认证，以使用户能够执行或访问某些动作或数据。在更进一步的示例中，计算设备可以包括雷达系统，以识别邻近设备但不触摸设备而执行的手势。设备还可以在各个位置包括例如在本体的一端处包括触摸界面。

根据本公开的另一方面，在一些实施方式中，计算设备可以是包括对接设备的更大系统的部分。对接设备和计算设备可以配置为彼此无线通信。对接设备可以配置为与计算设备的本体耦合。作为示例，对接设备可以配置为接收或以其它方式附接到或连接到本体。

在一些实施方式中，磁性连接用于将本体物理地保持到对接装置。例如，在一些实施方式中，仅使用磁性连接，使得本体容易地与对接设备卡合和脱离连接。在一些实施方式中，对接设备可以绕计算设备的本体折叠。

在一些实施方式中，对接设备可以包括显示屏。对接设备可以配置为在对接设备的显示屏上显示人工智能系统的输出。对接设备可以配置为使得当计算设备的本体与对接设备耦合时，对接设备的显示屏位于计算设备的本体的显示屏附近。计算设备可以配置为以扩展的显示方式在本体的显示屏和对接设备的显示屏两者上产生显示。例如，显示物体或图像可以跨两个屏幕显示，使得对接设备的显示屏幕充当计算设备的本体上的屏幕的扩展显示区域。

在一些实施方式中，本体的显示屏可以提供精简的视觉或图形界面，并且当本体连接到对接设备时，计算设备可以自动切换显示模式，使得对接设备的显示屏显示未精简的视觉或图形界面。因此，对接设备可以提供能够实现更深度互动的附加屏幕实际使用面积。此外，在对接设备可绕计算设备的本体折叠的实施方式中，可以使用柔性显示器，使得显示器也可绕计算设备的本体折叠，从而产生多面显示器。

在其它实施方式中，除了对接设备之外或代替对接设备，计算设备可以将显示信息扩展或投影到其它显示屏(例如，包括设备未与其物理连接的屏幕)上。因此，为了更丰富的信息，计算设备可以将体验推送到合作屏幕。计算设备还可以选择和控制世界上的其它设备(例如，物联网设备)，如果被赋能这么做的话。

作为能够实现与用户的智能互动的另一示例特征，在一些实施方式中，计算设备可以提供钥匙孔界面。该钥匙孔界面可以提供进入虚拟或数字物体或体验的快速窗口。

更具体地，在一些实施方式中，手持式计算设备可以包括相对小的显示屏(例如，位于伸长的圆筒形本体的端部)。手持式计算设备可以接收描述在三维空间中具有虚拟位置的虚拟物体的数据。手持式计算设备可以在显示屏上显示虚拟物体的一部分。虚拟物体的显示在显示屏上的该部分可以具有沿着在本体的当前姿势下从本体的第二端起的纵向轴线的投影的虚拟位置。响应于本体从当前姿势到新姿势的移动，设备可以更新显示屏，使得显示屏显示虚拟物体的新部分，该新部分具有沿着在本体的新姿势下从第二端起的纵向轴线的投影的虚拟位置。

因此，计算设备可以向用户提供进入比显示屏大的虚拟环境的小窗口或“钥匙孔”。计算设备可以产生当计算设备和显示屏移动时虚拟物体在虚拟位置保持静止的错觉。然后，用户可以根据用户期望移动计算设备以显示虚拟物体的不同部分。

使用此功能，用户可以快速高效地观看与显示屏相比相对较大的虚拟物体的内容。例如，手持式计算设备的伸长的圆筒形本体可以大致为笔或手写笔的大小，使得计算设备可以被容易地握在用户的手中。显示屏可以设置在本体的第一端并被容纳在伸长的圆筒形本体内。例如，显示屏可以具有在伸长的圆筒形本体的第一端处沿着本体的纵向轴线面向外的外透镜或盖。显示屏一般可以小于本体。例如，本体的长度与显示屏的直径之比可以在3至30的范围内，在一些实施例中，在4至20的范围内，在一些实施例中，在5至10的范围内。

此配置还可以允许用户在公共场所私密或半私密地观看虚拟物体。显示器的小尺寸可以阻止或防止旁观者轻易观看虚拟物体。

虚拟物体可以包括各种合适的物体。作为示例，虚拟物体可以包括文本，例如一行文本。虚拟物体还可以包括图像、3-D物体和/或环境。虚拟物体可以包括显示给用户的任何视觉信息。

作为能够实现与用户的智能互动的另一示例特征，在一些实施方式中，计算设备可以提供指示人工智能系统在其决策、理解或其它输出方面的置信度的信号(例如，显示信号)。例如，计算设备可以包括机器学习模型，该机器学习模型配置为产生输出以及与该输出相关联的置信度值。计算设备可以在其显示屏上显示置信度图形，该置信度图形以图形方式描述与机器学习模型的输出相关联的置信度。

置信度图形可以以用户容易领会和/或理解的方式传达人工智能系统关于当前操作或任务的置信度。作为示例，置信度图形可以包括描述由机器学习模型输出的置信度的形状密度、颜色组合和/或形状移动特性。当机器学习模型执行分析时，置信度图形可以改变以反映与输出相关联的变化的置信度水平。例如，随着机器学习模型收敛于正在执行的问题或分析的可能答案或解，人工智能系统的置信度可以提高。手持式计算设备可以更新置信度图形的显示，以将这种状态变化传达给用户。还可以使用其它置信度信号，诸如振动信号(例如，指示置信度的振动频率)、音频信号(例如，指示置信度的音调)和/或其它信号，除了置信度或代替置信度，设备还可以使用不同的信号或图形来指示相异的紧急程度。

使用诸如置信度图形的置信度信号可以发送人工智能系统的有效性。例如，用户能够容易地评估人工智能系统的输出的可靠性。用户还能够快速地评定人工智能系统是否正在收敛于问题的答案或解。这可以允许用户估计直到人工智能系统得出可靠结论的剩余时间。当人工智能系统不太可能在合理的时间段内收敛于答案或解时，用户也能够从置信度图形中进行推论。然后，用户可以对问题进行重新措辞、提出不同的问题、为人工智能系统分配新任务、对问题进行故障排除等。

根据本公开的另一方面，用户能够以容易且直观的方式控制计算设备的数据收集。设备还可以学习基于情境或其它信息自动切换其数据收集模式。更具体地，计算设备可以选择性地收集关于周围环境的信息(例如，记录音频或捕获图像/视频)，并且可以将收集到的信息的至少一部分输入到一个或更多个机器学习模型中。设备可以选择性地从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个。数据收集模式可以包括允许收集模式和禁止收集模式。在允许收集模式下，可以允许计算设备从周围环境收集信息。在禁止收集模式下，可以禁止计算设备从周围环境收集信息。计算设备可以向用户提供对其当前数据收集模式的指示。

用户能够诸如通过声音命令或其它输入来指令计算设备在模式之间切换。例如，当用户更偏向于计算设备避免收集数据时，用户可以指令计算设备切换到禁止收集模式。在一些实施方式中，将设备置于禁止收集模式并不一定包括阻碍或以其它方式抑制设备(例如，相机)的数据收集组件，而是控制设备的处理能力，使得数据不被设备主动收集和存储。计算设备可以向用户指示其当前状态，使得用户(以及潜在地其他周围的个体)可以快速地验证计算设备已按指令切换到禁止收集模式。提供对当前数据收集模式的指示可以提高用户对他关于计算设备何时收集数据(例如，记录音频或捕获视觉信息)以及何时不允许计算设备这么做的控制的信心。这些特征可以使用户可更舒适地与计算设备相处和/或更信任计算设备，从而使其例如在执行个人助理任务时更有效。

计算设备可以配置为以各种方式提供对当前数据收集模式的指示。作为示例，计算机系统可以显示描述或指示计算设备的当前数据收集模式的图形。每个数据收集模式可以具有相关联的图形，使得计算设备的用户可以基于所显示的图形来识别当前数据收集模式。作为另一示例，计算设备可以配置为停用屏幕，使得该屏幕没有用于指示当前数据收集模式的图形显示。例如，停用屏幕可以指示计算设备处于禁止收集模式，使得用户知道计算设备没有在收集信息。

作为能够实现与用户和其他人类的智能互动的另一示例特征，在一些实施方式中，计算设备可以包括一个或更多个使用户能够容易地更改设备的外观的可物理操纵的组件。作为一个示例，设备可以包括第一部分，该第一部分可以被选择性地放置在上方或移除以显露出设备的第二部分，从而充当“罩”。作为另一示例，设备的第二部分可以是可插入到第一部分之内的，使得第二部分不再向外可见。与设备的这些以及其它类似的互动可以向设备附近的其他人提供清晰的社交信号。因此，用户可以快速地将人工智能系统与传感器断开连接，并且可以向他人表明他们已经这样做。

更具体地，在一些实施方式中，通过物理地操纵计算设备的本体的方面，计算设备可以在模式之间切换。作为示例，计算设备可以包括具有伸长的圆筒形形状的本体。该本体可以包括第一部分和可相对于第一部分移动的第二部分。计算设备可以配置为检测第二部分相对于第一部分的移动，并基于检测到这样的移动而从所述多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个。例如，第二部分可以配置为相对于第一部分沿着伸长的圆筒形本体的纵向轴线平移或滑动。作为另一示例，第二部分可以配置为相对于第一部分旋转(例如，绕纵向轴线)。作为进一步的示例，第二部分可以包括被按下以使计算设备在模式之间切换的按钮。

在一些实施方式中，第二部分相对于第一部分的移动可以导致圆筒形本体的一区域被显示或变为被遮挡。圆筒形本体的被显示或遮挡的区域可以指示计算设备的当前数据收集模式。作为示例，第二部分可以沿着伸长的圆筒形本体的纵向轴线滑动远离第一部分，以显露出第一部分的先前被遮挡的区域。与本体的第一部分的周围区域相比，先前被遮挡的区域可以具有不同的外观(例如，有不同的颜色、图案、纹理或照明)。这可以向用户提供对计算设备的当前数据收集模式的清晰视觉指示。

作为另一示例，第二部分可以可缩回到第一部分之内。第二部分可以大体上是圆筒形的，并包括设置在外周表面的至少一部分上的显示屏。当第二部分至少部分地缩回到第一部分之内时，第二部分的一些或全部可以被第一部分从视线中遮挡。例如，被遮挡的部分可以包括显示屏的一些或全部。

这些特征可以向用户提供关于何时允许计算设备收集信息的清晰的视觉提示和/或触觉反馈。用户可以更容易地指令计算设备在模式之间切换，并验证已按指令完成了切换。用户还可以容易地向附近的他人传达计算设备没有在收听或记录。这种传达能力可以改善计算设备的可用性和效率，例如以用于执行与“个人助理”相关联的任务。计算设备可以配置为执行任何适当的任务，但不限于一般与个人助理相关联的那些任务。

作为一个示例，可以在应用、浏览器插件或其它情境中包括或以其它方式采用本公开的系统和方法的方面。因此，在一些实施方式中，本公开的模型可以被包括在诸如手持式计算设备的用户计算设备中或由其存储和实现。作为又一示例，模型可以被包括在服务器计算设备中或由其存储和实现，该服务器计算设备根据客户端-服务器关系与用户计算设备进行通信。例如，模型可以由服务器计算设备实现为网络服务(例如，网络电子邮件服务)的一部分。

现在参考附图，将进一步详细讨论本公开的示例实施例。

示例设备和系统

图1A描绘了根据本公开的示例实施例的示例计算系统100的框图，该示例计算系统100提供用于与人工智能系统互动和/或界面交互的用户界面机制。系统100包括通过网络180通信地耦合的用户计算设备102、服务器计算系统130和训练计算系统150。

用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，膝上型电脑或台式电脑)、移动计算设备(例如，智能手机或平板电脑)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其它类型的计算设备。在示例性实施例中，用户计算设备102是手持式设备。

用户计算设备102包括一个或更多个处理器112和存储器114。一个或更多个处理器112可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器114可以包括一个或更多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等及其组合。存储器114可以存储由处理器112支行以使用户计算设备102执行操作的数据116和指令118。

用户计算设备102可以存储或包括人工智能系统119，该人工智能系统119可以包括一个或更多个机器学习模型120。例如，机器学习模型120可以是或可以包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其它多层非线性模型。神经网络可以包括循环神经网络(例如，长短期记忆循环神经网络)、前馈神经网络或其它形式的神经网络。也可以使用其它机器学习模型。示例人工智能系统119参考图2A至2C被讨论。

在一些实施方式中，一个或更多个人工智能系统119或由其使用的模型120可以通过网络180从服务器计算系统130接收、存储在用户计算设备存储器114中、并由一个或更多个处理器112使用或以其它方式实现。在一些实施方式中，用户计算设备102可以实现单个人工智能系统119的多个并行实例(例如，以跨人工智能系统119的多个实例执行并行操作)。

更具体地，人工智能系统119可以配置为利用用户计算设备102的各种特征(例如，显示屏、发光设备和/或物理属性)与用户和/或物理环境的其它方面智能地互动。例如，用户计算设备102可以包括和控制发光设备，以指示人工智能系统119在现实世界中的“注视”。作为另一示例，用户计算设备102可以使用显示器124提供钥匙孔界面。钥匙孔界面可以提供进入虚拟或数字物体或体验的快速窗口。作为进一步的示例，用户计算设备102可以提供信号(例如，在显示器124上)，该信号指示人工智能系统119在其决策、理解或其它输出方面的置信度。作为更进一步的示例，用户计算设备102可以配置为选择性地从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个(例如，其中人工智能系统119被禁止收集关于用户计算设备102的环境的数据的禁止数据收集)。用户计算设备102可以提供对其当前数据收集模式的指示。例如，用户计算设备102可以使用显示器124和/或通过选择性地显示或遮挡计算设备102的本体的一部分来提供这样的指示。与设备的这些和其它类似的互动可以向设备附近的其他人提供清晰的社交信号。例如，用户可以快速地将人工智能系统119与传感器断开连接，并且可以向其他人表明他们已经这样做。

另外地或备选地，一个或更多个人工智能系统140和/或机器学习模型142可以被包括在服务器计算系统130中，或以其它方式由服务器计算系统130存储和实现，该服务器计算系统130根据客户端-服务器关系与用户计算设备102进行通信。例如，人工智能系统140和/或机器学习模型142可以由服务器计算系统140实现为网络服务的一部分。因此，可以在用户计算设备102处存储和实现一个或更多个人工智能系统119和/或一个或更多个模型120，和/或可以在服务器计算系统130处存储和实现一个或更多个人工智能系统140和/或一个或更多个模型142。

用户计算设备102还可以包括接收用户输入的一个或更多个用户输入组件122。例如，用户输入组件122可以是对用户输入物体(例如，手指或手写笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可以用于实现虚拟键盘。其它示例用户输入组件包括麦克风、传统键盘或用户可输入通信的其它装置。

服务器计算系统130包括一个或更多个处理器132和存储器134。一个或更多个处理器132可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器134可以包括一个或更多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等及其组合。存储器134可以存储由处理器132运行以使服务器计算系统130执行操作的数据136和指令138。

在一些实施方式中，服务器计算系统130包括一个或更多个服务器计算设备或以其它方式由其实现。在服务器计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。

如上所述，服务器计算系统130可以存储或以其它方式包括一个或更多个人工智能系统140和/或机器学习模型142。例如，模型142可以是或可以以其它方式包括各种机器学习模型，诸如神经网络(例如，深度循环神经网络)或其它多层非线性模型。示例模型142参考图2A至图2C被讨论。

服务器计算系统130可以经由与通过网络180通信地耦合的训练计算系统150的互动来训练模型142。训练计算系统150可以与服务器计算系统130分离或者可以是服务器计算系统130的一部分。

训练计算系统150包括一个或更多个处理器152和存储器154。一个或更多个处理器152可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器154可以包括一个或更多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等及其组合。存储器154可以存储由处理器152运行以使训练计算系统150执行操作的数据156和指令158。在一些实施方式中，训练计算系统150包括一个或更多个服务器计算设备或以其它方式由其实现。

训练计算系统150可以包括模型训练器160，该模型训练器160使用各种训练或学习技术(诸如例如误差反向传播)来训练存储在服务器计算系统130处的机器学习模型142。在一些实施方式中，执行误差反向传播可以包括随着时间的推移执行截断的反向传播。模型训练器160可以执行多种泛化技术(例如，权重衰减、丢度(dropout)等)，以提高正在被训练的模型的泛化能力。模型训练器160可以执行有监督训练或无监督训练。

具体地，模型训练器160可以基于一组训练数据162来训练人工智能系统140的一个或更多个机器学习模型142。在一些实施方式中，人工智能系统140可以配置为诸如通过回答问题、提供建议或例如可基于对用户当前环境和/或期望的情境理解的其它行动而用作“个人助理”。这样，可以使用训练数据162来训练机器学习模型142，训练数据162包括关于用户与计算设备的互动和/或对那些互动的期望响应的信息。

在一些实施方式中，如果用户已经提供了同意，则训练示例可以由用户计算设备102(例如，基于先前由用户计算设备102的用户提供的通信)提供。因此，在这样的实施方式中，可以由训练计算系统150在从用户计算设备102接收到的特定于用户的通信数据上训练提供给用户计算设备102的模型120。在一些情况下，该过程可以被称为使模型个性化。例如，人工智能系统119可以基于用户的偏好、过去的请求、过去的指令、反馈等来适应或学习。

模型训练器160包括用于提供期望功能的计算机逻辑。可以以控制通用处理器的硬件、固件和/或软件来实现模型训练器160。例如，在一些实施方式中，模型训练器160包括存储在存储设备上、加载到存储器中并由一个或更多个处理器运行的程序文件。在其它实施方式中，模型训练器160包括存储在有形的计算机可读存储介质(诸如RAM硬盘或光学介质或磁介质)中的一组或更多组计算机可运行指令。

网络180可以是任何类型的通信网络，诸如局域网(例如，内部网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。一般，可以使用各种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)经由任何类型的有线和/或无线连接来承载通过网络180的通信。

图1A示出了可用于实现本公开的一个示例计算系统。也可以使用其它计算系统。例如，在一些实施方式中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实施方式中，模型120可以在用户计算设备102处被本地地训练和使用。在这样的实施方式的一些中，用户计算设备102可以实施模型训练器160以基于特定于用户的数据使模型120个性化。例如，人工智能系统119可以基于用户的偏好、过去的请求、过去的指令、反馈等来适应或学习。反馈可以实时挖掘。因此，可以在设备上或在云端执行训练和/或推理。

图1B描绘了根据本公开的示例实施例执行的示例计算设备10的框图。计算设备10可以是用户计算设备或服务器计算设备。

计算设备10包括多个应用(例如，应用1至N)。每个应用包含自己的机器学习库和(多个)机器学习模型。例如，每个应用可以包括机器学习模型。示例应用包括文本消息收发应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。

如图1B所示，每个应用可以与计算设备的多个其它组件(诸如例如一个或更多个传感器、情境管理器、设备状态组件和/或附加的组件)进行通信。在一些实施方式中，每个应用可以使用API(例如，公共API)与每个设备组件进行通信。在一些实施方式中，每个应用所使用的API特定于该应用。

图1C描绘了根据本公开的示例实施例执行的示例计算设备50的框图。计算设备50可以是用户计算设备或服务器计算设备。

计算设备50包括多个应用(例如，应用1至N)。每个应用与中央智能层进行通信。示例应用包括文本消息收发应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。在一些实施方式中，每个应用可以使用API(例如，跨所有应用的公共API)与中央智能层(和存储在其中的(多个)模型)进行通信。

中央智能层包括多个机器学习模型。例如，如图1C所示，可以为每个应用提供相应的机器学习模型(例如，模型)，并由中央智能层管理所述相应的机器学习模型。在其它实施方式中，两个或更多个应用可以共享单个机器学习模型。例如，在一些实施方式中，中央智能层可以为所有应用提供单个模型(例如，单个模型)。在一些实施方式中，中央智能层被包括在计算设备50的操作系统内或由其实现。

中央智能层可以与中央设备数据层进行通信。中央设备数据层可以是用于计算设备50的数据的集中存储库。如图1C所示，中央设备数据层可以与计算设备的多个其它组件(诸如例如一个或更多个传感器、情境管理器、设备状态组件和/或附加的组件)进行通信。在一些实施方式中，中央设备数据层可以使用API(例如，专用API)与每个设备组件进行通信。

示例模型布置

图2A描绘了根据本公开的示例实施例的示例人工智能系统200的框图。在一些实施方式中，计算系统可以配置为控制发光设备指示人工智能系统200在现实世界中的“注视”。例如，设备可以将发光设备用作定点器，以将用户的注意力吸引到特定物体上。备选地或另外地，用户可以操纵发光设备的取向以选择某个物体从而引起人工智能系统的注意。

更具体地，人工智能系统200可以配置为相对于场景的图像204选择、分类、分析或以其它方式执行处理操作。例如，人工智能系统200可以包括选择模型202，该选择模型202被训练为接收场景的图像204，并且作为响应，提供描述场景的至少一个区域的注意力输出206，所述至少一个区域包括由人工智能系统200执行的处理操作的对象。计算系统可以配置为基于注意力输出206控制发光设备将光发射到场景的所述至少一个区域上或发射到邻近所述至少一个区域，例如如下面参考图4A和图4B所解释地。

图2B描绘了根据本公开的示例实施例的另一示例人工智能系统220的框图。除了人工智能系统220进一步包括物体识别模型228以外，人工智能系统220类似于图2A的人工智能系统200。物体识别模型228可以配置为接收场景的图像224，并且作为响应，提供描述图像224的一区域的识别输出230。例如，识别输出230可以描述图像224内的与图像224相关联的类别、标签、特征和/或位置。选择模型可以配置为接收识别输出230，并且作为响应，提供描述场景的至少一个区域的注意力输出226，所述至少一个区域包括由人工智能系统200执行的处理操作的对象。例如，注意力输出226可以响应于来自用户的问题或命令而描述图像224的一区域的位置。备选地，注意力输出226可以描述图像224的一区域，选择模型222已将该区域确定为对于用户提出的问题/命令或用户的预期期望是重要的、相关的或应答性的。计算系统可以配置为控制发光设备将光发射到场景的由注意力输出226描述的(多个)区域上或发射为邻近所述(多个)区域，例如，如下面参考图4A和图4B所解释地。

图2C描绘了根据本公开的示例实施例的另一示例人工智能系统250的框图。人工智能系统250可以包括机器学习模型252，该机器学习模型252配置为接收输入254，并且响应于接收到输入254而生成输出256和与输出256相关联的置信度值258。机器学习模型252可以是任何合适类型的模型。类似地，输入254和输出256可以是与计算设备的功能(包括例如“个人助理”功能)相关联的任何类型的信息。

置信度值258可以描述与由机器学习模型252生成的输出256相关联的置信度水平。作为示例，置信度值258可以描述对用户提出的问题的解的收敛程度。作为另一示例，可以从一组候选解中选择输出256，并且置信度值258可以描述与该组候选解的其余部分相比的与输出256相关联的相对置信度(例如，概率、权重等)。

在一些实施方式中，计算系统可以显示置信度图形，该置信度图形以图形方式描述与机器学习模型的输出相关联的置信度值。作为示例，置信度图形可以包括描述由机器学习模型输出的置信度值的形状密度、颜色组合或形状移动特性中的至少一项。显示置信度图形的方面在下面参考图5A和图5B被更详细地描述。

图3描绘了根据本公开的示例实施例的具有伸长的圆筒形本体301的示例计算设备300。作为示例，伸长的圆筒形本体301可以大致为笔或手写笔的大小，使得计算设备300可以被容易地握在用户的手中。伸长的圆筒形本体301可以包括通过锥形部分连接在一起的两个不同直径的圆筒形部分。锥形部分可以是截头圆锥形状，其端部的直径等于圆筒形部分的相应直径。锥形部分可以沿着圆筒形本体301的长度大致居中定位。本体301的超过一半的长度可以是圆筒形的。然而，在其它实施方式中，计算设备300的本体301可以具有任何合适的大小和形状。

伸长的圆筒形本体301可以包括，配置为收集信息或向设备300的用户发送信息的各种设备、部分和/或特征。例如，本体301可以包括第一部分302和相对于第一部分302可移动(由箭头306示出)的第二部分304。计算设备300可以配置为检测第二部分304相对于第一部分302的移动，并基于检测到这样的移动而执行各种操作。例如，计算设备300可以配置为在数据收集模式之间切换，例如，如参考图6A至图6D和图14所描述地。计算设备300还可以包括邻近伸长的圆筒形本体301的第一端309设置的相机308(例如，广角或宽视场相机)。发光设备310(诸如激光发射器或投影仪)可以邻近相机308设置。作为示例，相机308可以包括最外面的透镜或盖，并且发光设备310可以设置在最外面的透镜或盖后方，使得用户从伸长的圆筒形本体301的外部看不到发光设备310。计算设备学可以包括麦克风312和/或扬声器。显示器314可以邻近本体301的第二端313设置。

参考图4A和图4B，在一些实施方式中，计算设备400可以控制发光设备412指示人工智能系统在现实世界中的“注视”。在一些实施方式中，计算设备400可以总体上类似于图3的计算设备300来配置。计算设备400的本体401可以根据需要被握在用户的手416中。计算设备400可以将发光设备410用作定点器，以例如通过将发射光418投射到物体上或投射为邻近物体而将用户的注意力吸引到特定物体上。相机408可以邻近发光设备410定位，例如，如以上参考图3所解释地。备选地或另外地，用户可以操纵发光设备410的取向以选择要引起人工智能系统的注意的特定物体。

作为简化示例，在一些实施方式中，发光设备410可以包括激光发射器，并且发射光418可以包括由所发射的激光束形成的各种合适的形状。例如，发射光418可以包括一个或更多个聚焦指示符420、422和目标指示符424。目标指示符424可以位于由人工智能系统执行的处理操作的对象的中央位置附近。聚焦指示符420、422可以位于场景的物体或区域的外边界或边缘附近，该物体或区域是由人工智能系统执行的处理操作的对象。应理解，目标指示符424和聚焦指示符420、422仅仅是发射光418的一个简化示例。发射光418可以以包括将信息(例如，形状、文本、图像、视频)投影在场景450中的物体或多个物体上的任何合适的方式来成形或配置。

参考图4B，计算设备400可以控制发光设备410将光发射到场景450的至少一个区域上或发射为邻近所述至少一个区域，所述至少一个区域包括由人工智能系统执行的处理操作的对象。计算设备400可以获取由相机406捕获的场景450的图像，并且可以生成描述场景的至少一个区域的注意力输出，所述至少一个区域包括由人工智能系统执行的处理操作的对象。处理操作的对象可以是正在被识别、分析或与人工智能系统的输出(诸如对用户提出的问题的答案或对用户发布的命令的响应)相关联的物体。

作为示例，用户可以将计算设备400的相机408指向一组物体(例如，容器426、植物428和灯430)。人工智能系统可以产生与物体426、428、430中的至少一个相关联的注意力输出，并且计算设备400可以控制发射光418到达场景450的一区域上或邻近该区域，使得发射光418指示人工智能系统的“聚焦”的对象。

计算设备400可以控制发射光418，使得目标指示424在由人工智能系统执行的处理操作的对象上或附近。在该示例中，容器426可以是由人工智能系统执行的处理操作的对象。聚焦指示符420、422可以位于容器426的外边缘附近，以指示对象的范围或区间。

人工智能系统可以配置为响应于计算设备400的用户提出的查询来选择场景450的物体或区域。例如，用户可以(例如，通过说出问题)向计算设备400提出关于场景450的问题或命令，并且人工智能系统可以产生注意力输出，该注意力输出回答或试图回答用户的问题或命令。

作为另一示例，用户可以问关于场景450内的哪个物体426、428、430(或哪些物体)满足标准的问题，并且计算设备400可以以指示人工智能系统已响应于该问题而选择的至少一个物体(例如，容器426)的方式发射光。

作为另一示例，用户可以将计算设备400的相机408指向表面上具有字迹或标记的表面。计算设备400可以以表明人工智能系统已识别出和/或解释了字迹或标记的方式将光发射到表面上。例如，发射光可以勾勒、划线、或以其它方式标识字迹或标记中的可以指示对有关字迹或标记的问题的答案的一个或更多个。

在一些实施方式中，发光设备410可以包括投影仪。投影仪可以配置为以与显示屏类似的方式投影图像。例如，投影仪能够投影诸如视频、图像、互动式显示等的图形。所述图形可以描述各种信息。

作为另一示例，用户可以将计算设备400指向物体，并且可以可选地说出对关于该物体的信息的请求。计算设备400可以识别物体并收集与该物体相关联的元数据。计算设备400可以在物体上或邻近物体显示描述元数据的图形。例如，用户可以将计算设备400指着书，并且发光设备410可以将书评论投影在书附近的表面上或书的封面上。再次参考图4B，作为另一示例，用户可以问“这是什么类型的植物？”并且计算设备400可以控制发光设备410将植物种类的名称以及可选地将包括出售该植物种类的本地商店的其它信息投影到场景的区域(例如，投影到容器426的侧面)上。作为又一示例，对于可食用物体，投影信息可以包括营养信息(例如，卡路里含量)和/或过敏信息。

在一些实施方式中，计算设备400可以配置为调整光418相对于计算设备400的发射方向，使得当计算设备400(并且因此发光设备410)相对于场景450移动时，光418继续发射到场景450的包括对象(例如，容器426)的至少一个区域上或发射为邻近所述至少一个区域。作为示例，用户可以例如调整计算设备400相对于场景的位置，以更好地观看计算设备400的显示屏414。尽管计算设备400(包括发光设备410)移动，但计算设备400可以调整光发射的方向，使得光418继续指示由人工智能系统执行的操作的对象(例如，容器426)。

在一些实施方式中，计算设备400(例如，人工智能系统)可以配置为访问来自用户的日历、联系人的信息或其它个人信息的信息(如果用户已经授予了让计算设备400这么做的许可)。计算设备400可以以有意义的方式将描述此类信息的一个或更多个图形投影在物体上或投影为邻近物体。例如，用户可以将计算设备400指着时钟，并且计算设备400可以紧跟在安排事件的时间之后投影描述来自用户的日历的即将到来的事件(例如，会议、约会等)的图形。所述图形可以包括关于事件的信息，诸如名称、描述等。

图5A描绘了根据本公开的示例实施例的示例计算设备500，该示例计算设备500具有伸长的圆筒形本体501和显示置信度图形的显示屏514。图5B描绘了根据本公开的示例实施例的示例置信度图形。在一些实施方式中，计算设备500总体上可以以与图3的计算设备300类似的方式来配置。

置信度图形可以描述人工智能系统在其决策、理解或其它输出方面的置信度。例如，计算设备500可以包括机器学习模型，该机器学习模型配置为产生输出和与该输出相关联的置信度值，例如，如以上参考图2C所描述地。计算设备500可以在其显示屏514上显示置信度图形，该置信度图形以图形方式描述与机器学习模型的输出相关联的置信度。

置信度图形可以以用户容易领会和/或理解的方式传达人工智能系统的置信度。作为示例，置信度图形可以包括描述由机器学习模型输出的置信度的形状密度、颜色组合和/或形状移动特性。当机器学习模型执行分析时，置信度图形可以改变以反映与输出相关联的变化的置信度水平。例如，随着机器学习模型收敛于正在执行的问题或分析的可能答案或解，人工智能系统的置信度水平可以提高。手持式计算设备可以更新置信度图形的显示，以将这种状态变化传达给用户。

参考图5B，作为示例，单个、静止的和/或小的形状552(例如，静止的中心点)可以指示高置信度或收敛于解。多个形状554可以指示人工智能系统具有低置信度或尚未收敛于解。形状554的方面(例如，颜色、大小、位置)可以改变以显示与置信度相关联的附加度量。例如，形状554可以旋转(例如，绕显示屏的中心)，并且这种旋转的速度可以指示收敛的速率。一旦已经达到置信度阈值和/或人工智能系统已经收敛于解，就可以显示单个形状552。备选地，形状554可以以配置556重新布置，该配置556可以指示人工智能系统的状态(例如，收敛、不收敛等)。可以改变形状的大小、数量和移动，以表示与人工智能系统的置信度相关联的各种度量。作为示例，小的、众多的形状558可以表示人工智能系统在可到达解之前需要更多的信息(例如，情境信息)。应理解，在本公开的范围内，许多其它变型或组合是可能的。

除了置信度之外或代替置信度，还可以使用其它置信度信号，诸如振动信号(例如，指示置信度的振动频率)、音频信号(例如，指示置信度的音调)和/或其它信号，并且设备还可以使用不同的信号或图形来指示相异的紧急程度。

使用诸如置信度图形的置信度信号可以改善人工智能系统的有效性。例如，用户能够容易地评估人工智能系统的输出的可靠性。用户还能够快速地评定人工智能系统是否正在收敛于问题的答案或解。这可以允许用户估计直到人工智能系统已得出可靠结论的剩余时间。当人工智能系统不太可能在合理的时间段内收敛于答案或解时，用户也能够从置信度图形进行推论。然后，用户可以对问题重新措辞、提出不同的问题、为人工智能系统分配新任务、对问题进行故障排除等。

根据本公开的另一方面，用户能够以容易且直观的方式控制计算设备的数据收集。设备还可以学习根据情境或其它信息自动切换其数据收集模式。更具体地，计算设备可以选择性地收集关于周围环境的信息(例如，记录音频或捕获图像/视频)，并且可以将收集到的信息的至少一部分输入到一个或更多个机器学习模型中。设备可以选择性地从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个。数据收集模式可以包括允许收集模式和禁止收集模式。在允许收集模式下，可以允许计算设备从周围环境收集信息。在禁止收集模式下，可以禁止计算设备从周围环境收集信息。计算设备可以向用户提供其当前数据收集模式的指示。

参考图6A和图6B，在一些实施方式中，通过物理地操纵计算设备的本体601的方面，计算设备600可以在模式之间切换。在一些实施方式中，计算设备600总体上可以以与图3的计算设备300类似的方式配置。计算设备600可以包括具有伸长的圆筒形形状的本体601。本体601可以包括第一部分602和第二部分604，第二部分604可以相对于第一部分602是可移动的。计算设备600可以配置为检测第二部分604相对于第一部分602的移动，并基于检测到这样的移动而从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个。例如，第二部分604可以配置为相对于第一部分602沿着伸长的圆筒形本体的纵向轴线平移或滑动(由箭头606表示)。作为另一示例，第二部分604可以配置为相对于第一部分旋转(例如，绕纵向轴线)。作为进一步的示例，本体601可以包括被按压以使计算设备在模式之间切换的按钮。

在一些实施方式中，第二部分604相对于第一部分602的移动可以导致圆筒形本体的区域605被显示或变为被遮挡。圆筒形本体601的被显示或遮挡的区域605可以指示计算设备的当前数据收集模式。例如，参考图6B，第二部分604可以沿着伸长的圆筒形本体601的纵向轴线可滑动远离第一部分602(由箭头606表示)，以显露出第一部分602的先前被遮挡的区域605。与本体601的第一部分602的周围区域相比，先前被遮挡的区域605可以具有不同的外观(例如，有不同的颜色、图案、纹理或照明)。这可以向用户提供对计算设备600的当前数据收集模式的清晰的视觉指示。

例如，图6A可以示出处于允许收集模式的计算系统600。区域605可以被遮挡，并且显示屏610可以显示图形。图6B可以示出处于“遮盖(hooded)”模式的计算系统600，该“遮盖”模式可以对应于禁止收集模式。在“遮盖”模式下，先前被遮挡的区域605可以被显示，并且显示屏614可以没有任何图形或完全关闭。第二部分604可以部分地遮挡显示屏614和/或相机，该相机可以位于显示屏614后方。

图6C和图6D示出了根据本公开的示例实施例的另一示例计算系统650。计算系统650可以包括第一部分652和可缩回到第一部分652之内的第二部分654。第二部分654可以是大体上圆筒形的并包括设置在第二部分654的外圆周表面的至少一部分上的显示屏658。当第二部分654至少部分地缩回到第一部分652之内时，例如如图6D所示，第二部分654的一些或全部(包括例如显示屏658的一些或全部)可以被第一部分652从视线中被遮挡。

这些特征可以向用户提供关于何时允许计算设备602、650收集信息的清晰的视觉提示和/或触觉反馈。用户可以更容易地指令计算设备602、650在模式之间切换，并验证是否已按指令完成了切换。用户还可以容易地向附近的其他人传达计算设备602、650没有在收听或记录。这种传达能力可以提高例如用于执行与“个人助理”相关联的任务的计算设备602、650的可用性和效率。计算设备602、650可以配置为执行任何合适的任务，但是不限于一般与个人助理相关联的那些任务。

在一些实施方式中，计算设备600、650可以配置为当处于禁止收集模式、尚未被允许收集关于设备600、650周围的环境的数据时执行或继续操作。计算设备650仍然可以被允许进行无线通信，包括连接到互联网和/或局域网，并且人工智能系统可以被允许执行计算。然而，设备600、650和/或人工智能系统可以被阻止访问配置为收集关于设备600、650周围的环境的信息的一个或更多个传感器(例如，麦克风、相机等)。作为示例，用户可以向设备600、650问问题或给出命令，然后将设备600、650切换到禁止收集模式。在处于禁止收集模式的同时，人工智能系统仍然可以被允许分析问题或命令、引用各种设备上数据库和/或基于互联网的操作(诸如查询、购买、订购等)。例如，用户可以要求设备600、650针对特定的电影在最近的剧院购买电影票。然后，用户可以将设备600、650切换到禁止收集模式(例如，通过物理地操纵设备的一个或更多个部分)，使得用户设备600、650不能再收集音频或视频信息。然后，设备600、650可以在禁止收集模式下购买电影票。

参考图7A和图7B，在一些实施方式中，计算设备700可以提供“钥匙孔界面”。在一些实施方式中，计算设备700总体上可以以与图3的计算设备300类似的方式来配置。钥匙孔界面可以提供进入虚拟或数字物体或体验的快速窗口。图7A描绘了根据本公开的示例实施例的操纵示例计算设备700的用户的手716，该示例计算设备700具有用于向用户显示视觉信息的显示屏幕714。图7B描绘了根据本公开的示例实施例的方法的简化图，该方法用于使用图7A的示例计算设备700向用户显示视觉信息。

更具体地，在一些实施方式中，手持式计算设备700可以包括相对小的显示屏714(例如，位于伸长的圆筒形本体的端部)。手持式计算设备700可以接收描述虚拟物体732(例如，文本、图像、3-D物体、在三维空间中具有虚拟位置的3-D环境等)的数据。在该示例中，虚拟物体732包括单行文本。

手持式计算设备700可以在显示屏714上显示虚拟物体732的一部分。虚拟物体732的在显示屏714上显示的该部分可以具有沿着在设备700的本体701的当前姿势下从计算设备700的本体701的第二端713起的纵向轴线的投影的虚拟位置。响应于本体712从当前姿势到新姿势的移动(由箭头734表示)，设备700可以更新显示屏714，使得显示屏714显示虚拟物体708的新部分，该新部分具有沿着在本体701的新姿势下从第二端起的纵向轴线的投影的虚拟位置。

因此，计算设备700可以向用户提供进入比显示屏714大的虚拟环境中的小窗口或“钥匙孔”。计算设备700可以产生当计算设备700和显示屏714移动时虚拟物体732在虚拟位置保持静止的错觉。然后，用户可以根据用户期望移动计算设备700以显示虚拟物体732的不同部分。例如，如图7A和图7B所示，用户可以向右移动计算设备700(由箭头734表示)以观看完整的虚拟物体732。

使用该特征，用户可以快速且高效地观看与显示屏706相比相对较大的虚拟物体708的内容。例如，手持式计算设备704的本体712可以具有伸长的圆筒形形状，并且可以大致为笔或手写笔的大小，使得计算设备704可以被容易地握在用户的手702中。显示屏714可以设置在本体701的第二端713处，并被容纳在伸长的圆筒形本体701内，例如如参考图3所描述地。例如，显示屏714可以具有在伸长的圆筒形本体701的第二端713处沿着本体701的纵向轴线面向外的外透镜或盖。显示屏714一般可以小于本体701。例如，本体701的长度与显示屏714直径之比可以在3至30的范围内，在一些实施例中，在4至20的范围内，在一些实施例中，在5至10的范围内。

此配置还可以允许用户在公共场所私密或半私密地观看虚拟物体。显示屏714的小尺寸可以阻止或防止旁观者轻易观看虚拟物体732。另外，在一些实施方式中，显示屏714可以配置为窄角显示器，使得显示屏714的内容仅可以从大致与显示屏714相切的有利位置被有效地观看。显示屏714可以包括当从大于相对于本体701的纵向轴线的阈值角度(例如，约20度)的角度被观看时遮挡显示屏714的内容的涂层或结构。例如，这样的特征可以仅允许用户在公共场所私密或半私密地观看显示屏714的内容。

虚拟物体732可以包括各种合适的物体。作为示例，虚拟物体732可以包括文本，诸如一行文本，例如如图7A所示。虚拟物体732还可以包括图像、3-D物体、环境。然而，虚拟物体732可以包括显示给用户的任何视觉信息。

参考图8A，根据本公开的另一方面，在一些实施方式中，计算设备800可以是包括对接设备838的更大系统836的部分。在一些实施方式中，计算设备800总体上可以以与图3的计算设备300类似的方式来配置。对接设备838和计算设备800可以配置为彼此无线通信。对接设备838可以配置为与计算设备800的本体801耦合。作为示例，对接设备838可以配置为接收或以其它方式附接到或连接到本体801。

例如，图8A描绘了根据本公开的示例实施例的示例计算系统800的透视图，该示例计算系统800包括处于打开配置的对接设备838。图8B描绘了根据本公开的示例实施例的示例计算系统836的透视图，该示例计算系统836包括处于闭合配置的对接设备838。

对接设备838可以配置为接收计算设备800或以其它方式与计算设备800耦合。例如，对接设备838可以从图8A所示的打开配置可折叠到图8B所示的闭合配置。对接设备838可以包括基底层840和一个或更多个突出区域842、844。在闭合配置中，对接设备838可以配置为将计算设备800保持在形成于基底层840与突出区域842、844之间的空间中。

在一些实施方式中，磁性连接用于将计算设备800物理地保持到对接设备838。例如，除了对接设备838机械地保持计算设备800(例如，如图8A和图8B所示地通过绕计算设备800的本体折叠)之外，还可以使用磁性连接。在其它实施方式中，仅使用磁性连接，使得计算设备800的本体801容易地与对接设备838卡合和脱离连接。

参考图8B，在一些实施方式中，对接设备838可以包括显示屏846。对接设备838可以配置为在对接设备838的显示屏846上显示人工智能系统的输出。对接设备838可以配置为使得当计算设备800的本体801与对接设备838耦合时，对接设备838的显示屏846位于计算设备800的显示屏814附近。计算设备800可以配置为以扩展显示方式在计算设备800的显示屏814和对接设备838的显示屏846两者上产生显示信息。例如，显示物体或图像可以跨两个屏幕显示，使得对接设备838的显示屏幕814充当计算设备800的屏幕814的扩展显示区域。

在一些实施方式中，计算设备800的显示屏814可以提供精简的视觉或图形界面，当计算设备800的本体801连接到对接设备838时，计算设备800可以自动切换显示模式，使得对接设备838的显示屏814显示未精简的视觉或图形界面。因此，对接设备838可以提供能够实现更深度互动的附加屏幕实际使用面积。此外，在对接设备838可绕计算设备800的本体801折叠的实施方式中，可以使用柔性显示器814，使得显示器814也可绕计算设备800的本体801折叠，从而形成多面显示。

在其它实施方式中，除了对接设备838之外或代替对接设备838，计算设备800可以将显示信息扩展或投影到其它显示屏(例如，包括设备未与其物理连接到的屏幕)上。因此，为了更丰富的信息，计算设备800可以将体验推送到合作屏幕。计算设备800还可以选择和控制世界上的其它设备(例如，物联网设备)，如果被赋能这么做的话。

图9A描绘了根据本公开的示例实施例的示例计算设备900，该示例计算设备900包括设置在计算系统900的本体的周界表面上的显示屏914。在一些实施例中，计算设备900的本体901可以包括第一部分902和相对于第一部分902可旋转(由箭头908示出)的第二部分904。计算系统可以配置为检测第二部分904相对于第一部分902的移动，并基于检测到这样的移动而从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个，例如，如以上参考图3所述。图9B描绘了图9A的计算设备900被握在用户的手916中。

图10A描绘了包括例如如图9A和图9B所示的计算设备1002的计算系统1000的透视图。根据本公开的示例实施例，计算系统1000还包括处于第一配置的对接设备1004。对接设备1004可以配置为以各种不同的配置与对接设备1004耦合。例如，对接设备1004可以绕中间部分1006是可折叠的，使得第一部分1008和第二部分1110彼此平行地布置。对接设备1004可以配置为在对接设备1002的第一部分1008和第二部分1110的相应端部之间耦合到计算设备1002的本体1001。显示屏1012可以设置在对接设备1004的外表面上，该外表面在第一部分1008、第二部分1010和中间部分1006中的每个上延伸。

图10B描绘了根据本公开的示例实施例的例如如图9A和图9B所示的计算设备1006的透视图，该计算设备1006包括处于第二配置的对接设备1004。在一些实施方式中，对接装置1004可以配置为布置成第二配置，在该第二配置中对接装置1004大体上是平的或展开的。对接设备1004可以配置为沿着或靠近对接设备1004的边缘耦合到计算设备1002的本体1001。显示屏1012可以设置在对接设备1004的外表面上。对接设备1004可以在第一配置与第二配置之间是可调整的。

图11A至图11C描绘了提供对各种不同数据收集模式的指示的示例计算设备1100。计算设备1100可以包括显示屏1106。计算设备1100可以配置为通过更改显示屏1106的内容、在显示屏1106上显示图形的方式和/或选择性地打开或关闭显示屏1106来向用户提供对其当前数据收集模式的指示。例如，参考图11A，计算设备1100可以配置为当计算设备1100处于禁止收集模式时关闭显示屏幕1106，例如，如以上参考图6A和图6B所讨论地。参考图11B，计算设备1100可以配置为在显示屏1106上提供图形以指示计算设备处于允许收集模式。该图形可以在允许收集模式下被清晰地显示。

在一些实施方式中，计算设备1100可以在显示屏1106上显示图形，或对显示在屏幕1106上的图形应用具有模糊、磨砂或雾化的外观的滤镜，以指示第三数据收集模式。作为示例，第三数据收集模式可以对应于中间数据收集模式，在该中间数据收集模式中计算设备1100被允许检测(例如，“收听”)与用户向计算设备1100问问题或给出命令相关联的某些提示词或短语。计算设备1100接收到的其它音频信息可以被丢弃而不被记录或分析。当计算设备1100检测到(多个)提示词时，计算设备1100可以切换不同的模式。例如，用户可以说“醒来”以从中间数据收集模式切换到允许数据收集模式。

用户还可以通过物理地操纵计算设备1100的本体，例如通过使第二部分1104相对于第一部分1102旋转(在图11A至图11C中由箭头1108表示)，在各种模式之间切换计算设备1100。

显示屏1106还可以通过显示多个不同的颜色带来提供信息(例如，置信度信息)。颜色带的宽度和/或位置可以提供不同的含义或信息。

示例方法

图12描绘了根据本公开的示例实施例的示例方法的框图，该示例方法用于传达关于由人工智能系统执行的处理操作的对象的信息。尽管图12出于说明和讨论的目的描绘了按特定顺序执行的步骤，但是本公开的方法不限于特别示出的顺序或安排。在不偏离本公开的范围的情况下，可以以各种方式省略、重新安排、组合和/或调整方法1200的各个步骤。

方法1200可以包括，在(1202)，从相机获取场景的图像。例如，用户可以将包括相机的手持式计算设备指着场景，并且相机可以捕获场景的图像。计算设备可以包括例如邻近设备的端部设置的相机，例如，如参考图3、图4A和图4B所描述地。

方法1200可以包括，在(1204)，生成描述场景的至少一个区域的注意力输出，所述至少一个区域包括由人工智能系统执行的处理操作的对象。例如，计算设备可以包括参考图2A、图2B、图4A和图4B描述的人工智能系统。

方法1200可以包括控制发光设备将光发射到场景的包括由人工智能系统执行的处理操作的对象的所述至少一个区域上或发射到邻近所述至少一个区域，例如，如参考图4A和图4B所述。在一些实施方式中，该方法可以包括调整光相对于计算系统的发射方向，使得当发光设备相对于场景移动时光继续发射到场景的包括所述对象的所述至少一个区域上或发射为邻近所述至少一个区域。

图13描绘了根据本公开的示例实施例的示例方法1300的框图，该示例方法1300用于将视觉信息传达给计算设备的用户。尽管图13出于说明和讨论的目的描绘了按特定顺序执行的步骤，但是本公开的方法不限于特别示出的顺序或安排。在不偏离本公开的范围的情况下，可以以各种方式省略、重新安排、组合和/或调整方法1300的各个步骤。

方法1300可以包括，在(1302)，接收描述虚拟物体的数据，其中虚拟物体在三维空间中具有虚拟位置。例如，计算设备可以包括配置为提供描述虚拟物体的信息的人工智能系统和/或机器学习模型。例如，虚拟物体可以包括一行文本，并且人工智能系统可以响应于来自设备的用户的查询而输出该行文本。

方法1300可以包括，在(1304)，在显示屏上显示虚拟物体的一部分。虚拟物体的显示在显示屏上的该部分可以具有沿着在本体的当前姿势下从本体的第二端起的纵向轴线的投影的虚拟位置。例如，计算设备可以配置为显示虚拟物体，如参考图7A和图7B所述。

方法1300可以包括，在(1306)，响应于本体从当前姿势到新姿势的移动，更新显示屏，使得显示屏显示虚拟物体的新部分，该新部分具有沿着在本体的新姿势下从第二端起的纵向轴线的投影的虚拟位置，例如，如参考图7A和图7B所述。

图14描绘了根据本公开的示例实施例的示例方法1400的框图，该示例方法1400用于提供对与计算系统相关联的当前数据收集模式的指示。尽管图14出于说明和讨论的目的描绘了按特定顺序执行的步骤，但是本公开的方法不限于特别示出的顺序或安排。在不偏离本公开的范围的情况下，可以以各种方式省略、重新安排、组合和/或调整方法1400的各个步骤。

方法1400可以包括，在(1402)，选择性地收集关于周围环境的信息。例如，计算设备可以包括麦克风、相机等。计算系统可以包括人工智能系统，并且计算系统(例如，人工智能系统)可以配置为从计算设备周围的环境中选择性地收集音频、视频、图像等。

方法1400可以包括，在(1402)，选择性地从多个数据收集模式中的一个切换到所述多个数据收集模式中的另一个。例如，所述多个数据收集模式可以包括禁止收集模式、允许收集模式和/或中间收集模式，如以上例如参考图6A至图7D和图11A至图11C所述。如上所述，计算设备可以配置为自动地或响应于从用户接收到的命令或指示(包括例如检测到计算设备的本体的第二部分相对于第一部分的移动)而在模式之间切换。

方法1400可以包括，在(1402)，提供对计算系统的当前数据收集模式的指示，当前数据收集模式是从所述多个数据收集模式中选择的。例如，指示可以包括显示在计算设备的显示屏上的图形。指示还可以包括显示设备的本体的先前被遮挡的区域。与本体的第一部分的周围区域相比，先前被遮挡的区域可以具有不同的外观(例如，有不同的颜色、图案、纹理或照明)。

用户能够诸如通过声音命令或其它输入指令计算设备在模式之间切换。例如，当用户更偏向于计算设备避免收集数据时，用户可以指令计算机系统切换到禁止收集模式。计算设备可以向用户指示其当前状态，使得用户(以及潜在地其他周围的个体)可以快速地验证计算设备已按指令切换到禁止收集模式。提供对当前数据收集模式的指示可以增加用户对他关于计算设备何时收集数据(例如，记录音频或捕获视觉信息)以及何时不允许计算设备这么做的控制的信心。这些特征可以使用户可更舒适地与计算设备相处和/或更信任计算设备，从而使其例如在执行个人助理任务时更有效。

计算设备可以配置为以各种方式提供对当前数据收集模式的指示。作为示例，计算机系统可以显示描述或指示计算设备的当前数据收集模式的图形，例如，如参考图5A和图5B所述。每个数据收集模式可以具有相关联的图形，使得计算设备的用户可以基于所显示的图形识别当前数据收集模式。作为另一示例，计算设备可以配置为停用屏幕，使得屏幕没有用于指示当前数据收集模式的图形显示。例如，停用屏幕可以指示计算设备处于禁止收集模式，使得用户知道计算设备没有在收集信息。

作为能够实现与用户和其他人类的智能互动的另一示例特征，在一些实施方式中，计算设备可以包括使用户能够容易地更改设备的外观的一个或更多个在物理上可操纵的组件，例如，如参考图6A至图6D、图9A和图11A至图11C所述。作为一个示例，设备可以包括第一部分，该第一部分可以被选择性地放置在上方或移除以显露出设备的第二部分，从而充当“罩”。作为另一示例，设备的第二部分可以是可插入到第一部分之内的，使得第二部分不再向外可见。与设备的这些以及其它类似的互动可以向设备附近的其他人提供清晰的社交信号。因此，用户可以快速地将人工智能系统与传感器断开连接，并且可以向他人表明他们已经这么做。

附加公开

这里讨论的技术参考服务器、数据库、软件应用和其它基于计算机的系统、以及所采取的行动及发送给此类系统的信息和从此类系统接收到的信息。基于计算机的系统的固有灵活性允许组件之间的各种可能的配置、组合以及任务和功能的划分。例如，这里讨论的过程可以使用单个设备或组件或组合工作的多个设备或组件来实现。数据库和应用可以在单个系统上实现，或分布在多个系统上。分布式组件可以顺序地或并行地操作。

虽然已经关于本主题的各种特定的示例实施例详细描述了本主题，但是每个示例作为说明被提供，而不是对本公开的限制。本领域技术人员在理解了前述内容之后，可以容易地对这些实施例进行更改、变型和等同。因此，主题公开内容不排除包括对于本领域普通技术人员而言将明显的对本主题的这种修改、变型和/或添加。例如，作为一个实施例的部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，意图是，本公开覆盖这样的更改、变型和等同。