模式可改变的增强现实界面

摘要

通过在人手的手掌上显示输入区域来促进向计算系统的输入，并且允许使用该手的手势的简单输入模式改变。计算机视觉被用以检测人手的手掌。增强现实被用于在显示人手的手掌上显示输入区域。随后，计算机视觉可以被用以检测用户的另一人手何时与输入区域接合。输入区域具有多个输入模式，多个模式各种限定来自输入人手的输入如何被计算系统解释。响应于计算机视觉检测到显示人手的输入模式改变手势，计算系统改变输入区域的输入模式，以便改变由输入人手提供的输入如何被计算系统解释。

说明书

背景技术

计算系统通常与人类接合。为此，计算系统通过在诸如显示器或者扬声器的合适的(多个)输出设备上绘制信息来向用户提供信息。用户可以使用输入设备(诸如键盘、鼠标、麦克风等)来向计算系统提供信息。

增强现实允许绘制计算机化的输出，以便看起来为叠加在实际环境上和/或与实际环境相关联。增强现实也可以允许用户与控件或其他计算机化的绘制接合，这些其他计算机化的绘绘制被视觉化以便看起来似乎叠加在用户的环境上和/或与用户的环境相关联。

本文所要求保护的主题不限于解决任何缺陷或者仅在诸如上文描述的那些环境中操作的实施例。相反，提供该背景技术仅是为了说明可以实践本文所描述的一些实施例的一个示例性技术领域。

发明内容

本文所描述的至少一些实施例涉及通过在人手的手掌上显示输入区域以促进对计算系统的输入，并且使用该手的手势来允许简单的输入模式改变。计算机视觉被用以检测人手的手掌(其在本文中被称为“显示”人手)。增强现实被用以在显示人手的手掌上显示输入区域。随后可以使用计算机视觉来检测该用户的另一只手(即，“输入”人手)何时与输入区域接合。输入区域具有多个输入模式，多个输入模式各自限定来自输入人手的输入如何被计算系统解释。响应于计算机视觉检测到显示人手的输入模式改变手势，计算系统改变输入区域的输入模式，以便改变由输入人手提供的输入如何被计算系统解释。

这种形式的输入通过使用一只手与另一只手的手掌接合来允许使用增强现实的、到计算系统的方便且高效的信息输入。输入模式改变(例如，绘图对比键盘，从一种语言改变到另一种语言)可以通过显示人手的简单操纵而被快速地执行。因此，用户被提供了直观并且灵活的机制，以使用他们自己的双手的熟悉并且方便的操纵来将数据输入到计算系统中。因此，增强现实用户界面的技术是先进的。

本发明内容被提供以便以简化的形式介绍了将在以下具体实施方式中进一步所描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

为了描述可以获得本发明的上述的和其它优点和特征的方式，将通过参考在附图中图示的本发明的具体实施例来呈现对上面简要描述的本发明的更特定的描述。因此，这些附图仅描绘了本发明的示例实施例，并且因此不被认为是对本发明范围的限制。考虑到这一点，将参考附图来描述和解释本发明的示例实施例，其中：

图1A图示了手环境，其包括用户的双手、要在手掌上显示输入区域的显示手、以及要用于与该输入区域对接的输入手；

图1B图示了手环境，显示手的手掌被暴露在该手环境中，使得增强现实组件使输入区域看起来就像在显示手的手掌上；

图1C图示了手环境，在该手环境中手势被用于改变显示在显示手的手掌上的输入区域的输入模式；

图1D图示了手环境，输入区域在该手环境中被示为跟踪显示手的位置和取向；

图1E图示了手环境，输入区域在该手环境中被示为沿着显示手的手掌弯曲；

图1F图示了与显示在显示手的手掌上的输入区域交互的输入手；

图2图示了计算环境，其包括使用用户的双手作为增强现实用户界面的部分的计算系统；

图3图示了根据本文描述的原理的、使用用户的双手来促进对计算系统的输入的方法的流程图；

图4图示了根据本文描述的原理的、用于改变输入区域的输入模式的方法的流程图；

图5图示了根据本文描述的原理的、用于检测用户输入的方法的流程图；以及

图6图示了其中可以采用本文描述的原理的示例计算机系统。

具体实施方式

本文所描述的至少一些实施例涉及通过在人手的手掌上显示输入区域以促进对计算系统的输入，并且允许使用该手的手势的简单的输入模式改变。计算机视觉被用以检测人手的手掌(其在本文中被称为“显示”人手)。增强现实被用以在显示人手的手掌上显示输入区域。随后可以使用计算机视觉来检测该用户的另一只手(即，“输入”人手)何时与输入区域接合。输入区域具有多个输入模式，多个输入模式各自限定来自输入人手的输入如何被计算系统解释。响应于计算机视觉检测到显示人手的输入模式改变手势，计算系统改变输入区域的输入模式，以便改变由输入人手提供的输入如何被计算系统解释。

这种形式的输入通过使用一只手与另一只手的手掌接合来允许使用增强现实的、到计算系统的方便且高效的信息输入。输入模式改变(例如，绘图对比键盘，从一种语言改变到另一种语言)可以通过显示人手的简单操纵而被快速地执行。因此，用户被提供了直观并且灵活的机制，以使用他们自己的双手的熟悉并且方便的操纵来将数据输入到计算系统中。因此，增强现实用户界面的技术是先进的。

图1A到图1F图示了用户双手的各种状态，并用作演示使用增强现实与来这些手交互的示例用户体验的演练(walk-through)。用户体验从图1A开始，其图示了手环境100，其包括处于特定状态100A的两只人手101和102。人手101和102可以属于单人(本文以下也称为“用户”)。因此，人手101和102被图示为对该用户可能看起来的样子。在这个特定的状态100A中，手101和102的手掌不向用户暴露，并且具体地是背对着用户。

图2图示了包括计算系统201的计算环境200。作为用户界面210，计算系统201结合计算机视觉组件211和增强现实组件212来使用手环境100。在本文中，用户界面210也可以被称为是“增强现实”用户界面。用户的双手101和102对于允许用户使用增强现实来与计算系统接合起到重要作用。特别地，手中的一只手将被用以显示输入区域，并且在本文中被称为“显示手”或“显示人手”。另一只手将被用以向该输入区域中输入，并且在本文中将被称为“输入手”或“输入人手”

计算机视觉组件211从面向手环境的相机221接收输入。相机221可以捕获包括手环境100的图像(例如，颜色信息)，其包括用户的双手的图像。备选地，相机221可以是捕获深度信息阵列的深度相机。这可以允许计算机视觉组件211对手环境100的三维表示进行建模。

增强现实组件212将显示信息输出到投影仪222。投影仪使图案化的光被(直接地或间接地)提供到用户的左眼和右眼中，以便与用户的实际环境结合来向用户给出用户环境中存在的某种事物的错觉。作为该示例，投影仪222可以是用户佩戴的一副眼镜。在这种情况下，相机221可以连接到投影仪222，使得相机221指向用户正在看的总体方向。眼睛跟踪也可以用于确定用户正在看哪里。

在图1A到图1F的示例中，左手101将是显示人手，而右手102将是输入人手。这针对大多数惯用右手的用户可能更方便。然而，本文描述的原理也可以与作为显示手的右手102、作为输入手的左手101一起使用。显示和输入手的身份(identity)是根据用户偏好而可配置的。备选地或附加地，可以基于哪只手的手掌已经被暴露来动态地确定显示手的身份。备选地或附加地，可以基于用户的历史行为来确定显示手的身份。

在这种状态下，可以将与背景相对应的像素和与手自身相对应的像素区分开。随后，在一个实施例中，可以使用人手的可参数化的通用模型将手拟合到参数化的具体手模型中。例如，该手模型可以包括与手中的每个骨骼和关节相对应的对象。此外，可能存在与这些对象相关联的约束。例如，针对骨骼，可能存在以下约束：一旦设置了骨骼的结构参数(例如，骨骼的长度)，则那些长度随时间是不变的。针对关节，可能存在关于那些关节连接到哪些骨骼、以及什么类型的运动被允许的约束。

通用的手模型可以针对任何用户被使用，但是具体的用户特定的参数集(例如，骨骼的长度、骨骼周围的新鲜(fresh)的厚度等)可以用于填充该通用的手模型，以获得给定用户的手的精确模型。因此，特定状态100A可用于标识用户是谁。也可以使用其它形式的认证，诸如视网膜标识。一旦知道用户，就可以获得针对该个人的适当特定手模型，并且将其用于识别手、手部和手表面。

本文所述的原理不限于手模型的使用。然而，手模型的使用允许当确定用户的手的位置时计算被简化并且更精确。与对整个像素值集合进行计算相比，对标记点的集合(这是手模型所允许的)执行计算要快得多。当将输入区域定位在显示手上的手掌上时，以及当从用户的有利位置(vantagepoint)输入手在输入区域前方时将输入手遮挡时，这有助于确保更快的计算(以及更低的延迟)。这种较低的延迟改善了对运动的手的跟踪，并且由此改善了输入区域是在显示手的手掌上的错觉。

图1B图示了处于后续状态100B的手环境100，其中左手101现在转向用户，从而暴露手掌103。这触发了图3的方法300的启动。图3图示了用于显示计算系统的输入区域的方法300的流程图。由于方法300可以由图2的计算环境200执行，因此现在将频繁参考图2的计算环境200并参考图1B至图1F的手环境状态序列来描述方法300。在使用计算机视觉检测到显示人手的手掌时(动作301)发起方法300。例如，图2的计算机视觉组件211可以用于允许计算系统201确定左手101现在具有暴露于用户视野的手掌103。此外，由于左手101被分配为显示手，计算机视觉组件识别另一只人手102(动作302)。

参考图1B和图2，在计算机视觉组件211(见图2)检测到手掌(例如，在图1B的示例手环境中的左手101的手掌)时，增强现实组件212被使得在手掌上显示输入区域120(动作303)。例如，参考图1B和图2，在图1B的示例手环境中，当图2的计算机视觉组件211检测到左手101的手掌103时，增强现实组件212被使得在手掌上显示输入区域120。

仅作为示例，用户可能佩戴其上具有相机的眼镜，该相机用于向计算机视觉组件211馈送图像以及可能的深度信息。增强现实组件212可以照亮眼镜的特定部分，使得对于用户而言，输入区域120看起来出现在手掌103上(或者至少是大约在手掌前方处的更平滑的重建表面)。然而，可以使用与本文描述的原理一致的其他形式的增强用户界面设备。

参考图1B，在输入区域120的右上角图示了三角形121，以象征性地表示输入区域120处于第一输入模式。作为示例，第一输入模式可以是键盘。输入区域120被配置为具有多个输入模式，多个输入模式各自限定来自输入人手的输入如何被计算系统解释。图4图示了用于改变输入区域的输入模式的方法400的流程图。具体地，计算机视觉被用以检测显示人手的输入模式改变手势(动作401)。响应于该手势，计算系统改变输入区域的输入模式以便改变由输入人手提供的输入如何被计算系统解释(动作402)。作为示例，新输入模式可以是绘图画布。

作为示例，图1C图示了处于后续状态100C的手环境100，其中用户已经放低了显示手100的拇指105。因此，输入区域120改变输入模式，该输入模式由现在正出现在输入区域120的右上角的正方形表示。任何手势都足够(suffice)。例如，用户可以挥动整个显示手、移动显示手的手指(例如，伸出拇指)、展开手指、向上或向下或远离或朝向相机来倾斜显示、或无限的各种手势中的任何其他手势。备选地，手势可以由输入手执行。这种输入模式改变手势是可以根据用户的偏好而可配置的。

作为输入模式的示例，可以有在其间切换的不同类型的键盘模式。例如，可能存在用于与一种语言(例如，英语)一起使用的键盘输入模式和可能用于另一种语言(例如，日语)的第二输入键盘输入模式。可能有针对大写字母开启的第一键盘输入模式和针对大写字母关闭的另一键盘输入模式。可能有针对数字或字符的第一键盘输入模式，以及针对字母的另一键盘输入模式。本文描述的原理也可以用于在多于两种输入模式之间改变，并且可以采用多于一种输入模式改变手势。例如，拇指运动可以用于在键盘和绘图输入模式之间改变，其中展开手指可以用于改变键盘输入模式(例如，在语言之间)。可以配置输入模式和输入模式改变手势的数量和种类以匹配用户的偏好和直觉。

方法300可以被重复执行，以便允许跟踪手掌的位置。作为示例，重复的执行可以按对用户表现为连续运动的频率(例如，60赫兹)。这给予用户输入区域连续地跟随显示手的运动的感觉，从而给予输入区域真正在显示手的手掌上的令人信服的错觉。例如，图1D图示了处于后续状态100D的手环境100，其中显示手现在已经移动，并且其中输入区域120已跟踪该运动。

计算机视觉还可以估计在显示手中的多个关节的位置和取向。这允许增强现实组件使在显示手的手掌上形成的输入区域考虑显示手中的多个关节中的至少一个关节的估计位置和取向。在这种情况下，重复执行方法300使输入区域随显示手弯曲。再次，这给予用户手掌实际上正在显示输入区域的令人信服的错觉，而在现实中，增强现实投影仪仅给予了用户输入区域在手掌上的错觉。例如，图1E示出了处于后续状态100E的手环境100，其中显示手101的手掌103现在已经稍微弯曲，这使输入区域120也弯曲。

图5图示了根据本文描述的原理的用于检测用户输入的方法500的流程图。作为示例，方法500可由图2的计算系统201在具有图1F所示的特定状态100F的手环境100中执行。具体地，计算机视觉被用于检测输入手已经与输入区域交互(动作501)。关于图1F，输入手102的指向手指106在显示手101上显示的输入区域120的点123处交互。同样，计算系统201如何解释在点123处的输入将取决于输入区域120的输入模式。

在一个实施例中，计算机视觉可以基于显示手的运动来获得输入手确实已经接触显示手的高置信度。例如，当输入手的手指接触显示手的手掌时，显示手会稍微运动，而且运动的方式不同于在没有接触的情况下仅保持显示手时可能被预期的人手的瞬态运动。这改进了对输入人手和显示人手之间的交互的检测。

此外，为了给予用户接触已经被计算系统注册的感觉，计算系统可以响应于检测到输入人手已经与输入区域交互而提供听觉反馈。例如，当用户接触输入区域内的控件时，可以制造点击或弹出声音。还可提供视觉反馈，诸如在视觉上强调计算系统注册为已经被接触的任何接触。因为用户没有得到经常在与物理设备(诸如键盘按钮或鼠标点击)接合时存在的通常的触觉反馈，这种类型的听觉和视觉反馈针对增强现实用户界面可能尤其重要。

最后，为了给出输入区域实际上在显示手的手掌的表面上的错觉，增强现实组件可以在输入区域前方的用户的有利区域(vantage area)中执行输入人手的遮挡。具体地，增强现实组件避免显示由于正在阻挡用户对手掌的视野的输入人手(或可能存在的任何东西)而导致用户不能看到的、针对手掌的那些部分的输入区域。因此，当对象(例如，输入手)经过手掌前方时，该对象对于用户看起来阻挡了输入区域。例如，在图1F中，输入区域120没有在输入手102的指向手指106上示出，以便给出输入区域120正被输入手102阻挡的印象。这进一步加强了手掌本身实际上正在显示输入区域的错觉。为了提供精确的遮挡，可以考虑相机和眼睛的有利位置的差异。

这种形式的输入通过使用一只手与另一只手的手掌接合来允许使用增强现实的、到计算系统的方便且高效的信息输入。输入模式改变(例如，绘图对比键盘，从一种语言改变到另一种语言)可以通过显示人手的简单操纵而被快速地执行。因此，用户被提供了直观并且灵活的机制，以使用他们自己的双手的熟悉并且方便的操纵来将数据输入到计算系统中。因此，增强现实用户界面的技术是先进的。

因为本文所描述的原理在计算系统的上下文中操作，所以将参考图6来描述计算系统，计算系统现在越来越多地采取各种各样的形式。计算系统可以是例如手持式设备、电器、膝上型计算机、台式计算机、大型机、分布式计算系统、数据中心、或甚至是常规上不被认为是计算系统的设备，诸如可穿戴设备(例如，眼镜、手表、手环等)。在本说明书和权利要求书中，将术语“计算系统”广义地定义为包括任何设备或系统(或其组合)，设备或系统包括至少一个物理和有形的处理器，物理和有形的存储器以及其上能够具有可由处理器执行的计算机可执行指令。存储器可以采取任何形式，并且可以取决于计算系统的性质和形式。计算系统可以分布在网络环境上，并且可以包括多个组成计算系统。

如图6所示，在其最基本的配置中，计算系统600通常包括至少一个硬件处理单元602和存储器604。存储器604可以是物理系统存储器，其可以是易失性的、非易失性的或两者的一些组合。本文所使用的术语“存储器”可以指诸如物理存储介质的非易失性大容量存储设备。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。

在计算系统600上具有经常被称为“可执行组件”的多个结构。例如，计算系统600的存储器604被图示为包括可执行组件606。但是术语“可执行组件”是计算领域中的普通技术人员所理解的结构的名称，该结构可以是软件、硬件或其组合。例如，当在软件中实施时，本领域的普通技术人员将理解，可执行组件的结构可以包括可以在计算系统上执行的软件对象、例程、方法，无论这样的可执行组件是否存在于计算系统的堆中，或者无论该可执行组件是否存在于计算机可读存储介质上。

在这种情况下，本领域技术人员将认识到，可执行组件的结构存在于计算机可读介质上，使得当由计算系统的一个或多个处理器(例如，由处理器线程)解释时，使计算系统执行功能。这种结构可以是直接由处理器计算机可读的(如果可执行组件是二进制的，则是这种情况)。备选地，该结构可被结构化为可解释的和/或编译的(无论是在单个阶段中还是在多个阶段中)，以便生成由处理器直接解释的这种二进制。当使用术语“可执行组件”时，对可执行组件的示例结构的这种理解完全在计算领域的普通技术人员的理解范围内。

术语“可执行组件”也被普通技术人员很好地理解为包括在硬件中排他地或几乎排他地实现的结构，例如在现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何其他专用电路内。因此，术语“可执行组件”是用于计算领域的普通技术人员所熟知的结构的术语，无论以软件、硬件或组合来实现。在本描述中，还可以使用术语“组件”或“顶点”。如在本说明书和案例中使用的，该术语(无论该术语是否用一个或多个修饰符修饰)也旨在与术语“可执行组件”同义，或者是此类“可执行组件”的具体的类型，因此也具有由计算领域的普通技术人员很好理解的结构。作为示例，计算机视觉组件211和增强现实组件212可以如针对图6的可执行组件606所描述的那样构造。

在以下描述中，参考由一个或多个计算系统执行的动作来描述实施例。如果这样的动作在软件中实施的，则一个或多个处理器(执行该动作的相关联的计算系统的)响应于已经执行了构成可执行组件的计算机可执行指令，来指导计算系统的操作。例如，这种计算机可执行指令可以被具化在形成计算机程序产品的一个或多个计算机可读介质上。此类操作的示例涉及数据的操纵。

计算机可执行指令(和所操纵的数据)可以被存储在计算系统600的存储器604中。计算系统600也可以包含允许计算系统600通过例如网络610与其他计算系统通信的通信信道608。

虽然不是所有的计算系统都需要用户界面，但是在一些实施例中，计算系统600包括用于与用户接合的用户界面612。用户界面612可以包括输出机构612A以及输入机构612B。本文所述的原理不限于精确的输出机构612A或输入机构612B，因为这将取决于设备的性质。然而，输出机构612A可以包括例如扬声器、显示器、触觉输出、全息图、虚拟现实等。输入机构612B的示例可以包括例如麦克风、触摸屏、全息图、虚拟现实、相机、键盘、其它指向输入的鼠标、任何类型的传感器等。

本文描述的实施例可以包括或利用特殊目的或者通用计算系统，其包括计算机硬件，诸如例如一个或多个处理器和系统存储器，如以下更详细讨论的。本文描述的实施例也包括用于承载或者存储计算机可执行指令和/或数据结构的、物理的和其它的计算机可读介质。这种计算机可读介质可以是可以由通用或者专用计算系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，实施例可包括至少两种明显不同种类的计算机可读介质：存储介质和传输介质。

计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或者可以用于以计算机可执行指令或者数据结构的形式存储所需程序代码装置并且可以由通用或专用的计算系统访问的任何其他物理和有形存储介质。

“网络”被限定为一个或多个数据链路，其能够在计算系统和/或组件和/或其他电子设备之间传输电子数据。当信息通过网络或其他通信连接(硬连线的、无线或硬连线或无线的组合)传输或提供到计算系统时，计算系统适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以用于承载计算机可执行指令或者数据结构形式的所需程序代码装置，并且可以由通用或专用的计算系统访问。上述的组合也应当包括在计算机可读介质的范围内。

此外，在到达各种计算系统组件时，计算机可执行指令或者数据结构形式的程序代码装置可以自动地从传输介质传输到存储介质(或者反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或者数据结构可被缓冲在网络接口组件(例如“NIC”)内的RAM中，然后最终被传送到计算系统RAM和/或计算系统处的较不易失的存储介质。因此，应当理解，可读介质可以被包括在计算系统组件中，计算系统组件也(或者甚至主要)利用传输介质。

计算机可执行指令例如包括指令和数据，当其在处理器处执行时，使通用计算系统、专用计算系统或专用处理设备执行特定功能或功能组。备选地或附加地，计算机可执行指令可以配置计算系统以执行特定功能或功能组。计算机可执行指令可以是，例如在由处理器直接执行之前、经历某种翻译(诸如编译)的二进制文件或者甚至指令，诸如中间格式指令，诸如汇编语言或者甚至源代码。

本领域的技术人员将理解，本发明可以在具有多种类型的计算系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机、数据中心、可穿戴设备(诸如眼镜或手表)等。本发明还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算系统都执行任务。在分布式系统环境中，程序组件可以位于本地和远程存储器存储设备中。

本领域技术人员还将理解，本发明可以在由一个或多个数据中心或其部分支持的云计算环境中实践。云计算环境可以是分布式的，尽管这不是必需的。当分布式时，云计算环境可以在组织上国际性地分布和/或具有跨多个组织所拥有的组件。

在本说明书和以下权利要求中，“云计算”被限定为用于实现对可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池的按需网络访问的模型。“云计算”的限定不限于当正确部署时可以从这种模型中获得的其他众多优势中的任何一个。

例如，云计算当前在市场中被采用，以便提供对可配置计算资源的共享池的普遍存在的并且方便的按需访问。此外，可配置计算资源的共享池可以经由虚拟化来快速提供，并且以低管理努力或者服务提供商交互来释放，并且然后相应地扩展。

云计算模型可以由各种特性组成，诸如按需、自助、广泛的网络访问、资源池、快速弹性、测量服务等。云计算模型还可以以各种应用服务模型的形式出现，诸如，软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。还可以使用不同的部署模型来部署云计算模型，诸如私有云、社区云、公共云、混合云等。在本说明书和权利要求中，“云计算环境”是其中采用云计算的环境。

在不脱离其精神或本质特征的情况下，本发明可以以其他具体形式实施。所描述的实施例在所有方面都应被视为说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是由前述说明指示。在权利要求的等效含义和范围之内的所有变化都是被包含在其范围内。