快速手势重新约定

摘要

本发明提供用于供经配置以检测手势的系统使用的系统、方法、设备和计算机可读媒体。在一个实施例中，一种方法包含检测满足进入操作模式的第一条件的第一用户手势。所述方法可进一步包含退出所述操作模式。所述方法可进一步包含检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手势，其中所述第二条件不如所述第一条件严格。

说明书

相关申请案的交叉参考

本专利申请案主张以下专利申请案的权利：2012年4月16日申请且题为“快速手 势重新约定(RAPID GESTURE RE-ENGAGEMENT)”的第61/624,953号的美国临时专 利申请案，及2013年3月13日申请且题为“快速手势重新约定(RAPID GESTURE  RE-ENGAGEMENT)”的第13/801,704号美国非临时专利申请案，所述申请案以其全文 引用的方式并入本文中以用于所有目的。

背景技术

本发明的方面涉及计算技术。明确地说，本发明的方面涉及执行手势辨识的系统、 方法、设备和计算机可读媒体。

日益地，例如智能电话、平板计算机、个人数字助理(PDA)和其它装置等计算装置 包含触摸屏、加速度计、摄像机、接近度传感器、麦克风，和/或可允许这些装置俘获呈 用户输入形式的运动和/或其它所感测状况的其它传感器。在一些装置中，例如，可将特 定移动和/或出现辨识为(例如)对应于不同情境中的特定命令的手势。举例来说，当显示 浏览器应用程序时，装置可将例如向左滑动(例如，其中用户将其手在装置前方向左挥动) 等手势辨识为对应于“上一页”命令，且当显示媒体播放器应用程序时，装置可将例如 向左滑动等手势辨识为“上一个曲目”命令。在此实例中，用户可通过执行这些情境中 的每一者中的对应手势来致使装置执行这些命令。

本发明的方面提供执行手势辨识的更便利、直观及功能性方式。在触控系统中，用 户的手指触摸计算装置的玻璃表面，接着沿手势的方向移动，且接着从玻璃表面提起， 从而给予手势的开始和结束的清晰指示。在免触控系统中，不存在确定手势的开始和结 束的固有地清晰方式。

本发明的实施例提供解决这些问题的改进技术。

发明内容

这些问题和其它问题可根据本文所描述的本发明的实施例来解决。实施例可解决与 约定手势控制系统及/或解译提供到系统的重复输入相关联的问题。

提供用于约定及重新约定手势模式以用于跟踪连续手势的系统、方法、设备和计算 机可读媒体。一些实施例涉及计算机系统检测其中用户保持其手不动地处于恒定位置、 区域、区或地点的手势。在其它实施例中，计算机系统检测例如手等用户肢体以特定方 式(手掌摊开等)摆好姿势。另一种方法检测用户正朝向原始检测的手位置移动，但接着 改变方向且沿原始检测的手势的方向起始新的手势。在一些实施方案中，计算机系统检 测人类肢体的稳定性以便确定手势以用于约定及重新约定手势控制系统。

在一些实施例中，一种方法包含检测满足进入计算装置上的操作模式的第一条件的 第一用户手势。所述方法可进一步包含退出所述操作模式。所述方法可进一步包含检测 满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手 势，其中所述第二条件不如所述第一条件严格。

在一些实施例中，所述操作模式为手势跟踪模式，包括在一段时间内跟踪所述第一 用户手势或所述第二用户手势。

在一些实施例中，跟踪所述第一用户手势或所述第二用户手势包括使用深度传感器 跟踪、2-D传感器跟踪、直方图跟踪和超声波传感器跟踪中的一或多者。

在一些实施例中，所述操作模式为包括执行一或多个命令的命令模式。

在一些实施例中，所述检测所述第一用户手势或所述第二用户手势包括使用图像传 感器获得多个图像。

在一些实施例中，所述第一用户手势和所述第二用户手势为固定手势。

在一些实施例中，所述第一用户手势和所述第二用户手势为动态手势。

在一些实施例中，所述第一条件是在第一时间段内检测所述第一用户手势且所述第 二条件是在第二时间段内检测所述第二用户手势，其中所述第二时间段比所述第一时间 段短。

在一些实施例中，所述第一条件是在第一区内检测所述第一用户手势且所述第二条 件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第一区。

在一些实施例中，所述检测所述第一用户手势包括通过在一段时间内检测与用户肢 体相关联的任何移动低于所述第一区中的预定义移动阈值，确定所述用户肢体是否稳定 处于所述第一区内。

在一些实施例中，用户肢体为手。

在一些实施例中，所述方法进一步包含提供指示响应于所述检测而重新进入所述操 作模式的反馈。

在一些实施例中，所述方法进一步包含所述第二条件包含以下情形：对应于所述第 二用户手势的命令等效于对应于在所述第一用户手势与所述第二用户手势之间执行的 手势的命令。所述方法可进一步包含至少部分基于所述检测满足所述第二条件的所述第 二用户手势，绕过所述第二用户手势满足所述第一条件的要求。

在一些实施例中，所述第一条件包括第一方向上的运动或轨迹，且其中所述第二条 件包括使得所得运动方向实质上与所述第一方向对准的方向的改变。

在一些实施例中，所述方法包含在不存在用户触摸所述计算装置的情况下执行所述 检测所述第一用户手势和所述检测所述第二用户手势。

在一些实施例中，一种设备包含经配置以俘获图像的图像俘获装置，和耦合到所述 图像俘获装置的处理器。所述处理器可经配置以检测满足进入操作模式的第一条件的第 一用户手势。所述处理器可进一步经配置以退出所述操作模式。所述处理器可进一步经 配置以基于由所述图像俘获装置俘获的图像，检测满足基于所述检测所述第一用户手势 重新进入所述操作模式的第二条件的第二用户手势，其中所述第二条件不如所述第一条 件严格。

在一些实施例中，一种设备包含用于检测满足进入操作模式的第一条件的第一用户 手势的装置。在一些实施例中，一种设备进一步包含用于退出所述操作模式的装置。在 一些实施例中，所述设备进一步包含用于检测满足基于所述检测所述第一用户手势重新 进入所述操作模式的第二条件的第二用户手势的装置，其中所述第二条件不如所述第一 条件严格。

在所述设备的一些实施例中，所述操作模式为手势跟踪模式，包括在一段时间内跟 踪所述第一用户手势或所述第二用户手势。

在所述设备的一些实施例中，所述设备进一步包括用于使用深度传感器跟踪、2-D 传感器跟踪、直方图跟踪和超声波传感器跟踪中的一或多者跟踪所述第一用户手势或所 述第二用户手势的装置。

在所述设备的一些实施例中，所述操作模式为包括执行一或多个命令的命令模式。

在所述设备的一些实施例中，所述第一条件是在第一时间段内检测所述第一用户手 势且所述第二条件是在第二时间段内检测所述第二用户手势，其中所述第二时间段比所 述第一时间段短。

在所述设备的一些实施例中，所述第一条件是在第一区内检测所述第一用户手势且 所述第二条件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第 一区。

在所述设备的一些实施例中，用于检测所述第一用户手势的所述装置或用于检测所 述第二用户手势的所述装置包括用于使用图像传感器获得多个图像的装置。

在所述设备的一些实施例中，所述第一用户手势和所述第二用户手势为固定手势。

在所述设备的一些实施例中，所述第一用户手势和所述第二用户手势为动态手势。

在所述设备的一些实施例中，用于检测所述第一用户手势的装置包括用于通过在一 段时间内检测与用户肢体相关联的任何移动低于所述第一区中的预定义移动阈值，确定 所述用户肢体是否稳定处于所述第一区内的装置。

在所述设备的一些实施例中，所述用户肢体为手。

在所述设备的一些实施例中，所述第一条件是检测达到第一置信水平的所述第一用 户手势且所述第二条件是检测达到第二置信水平的所述第二用户手势，其中所述第二置 信水平低于所述第一置信水平。

在所述设备的一些实施例中，所述设备进一步包括用于提供指示响应于所述检测而 重新进入所述操作模式的反馈的装置。

在所述设备的一些实施例中，所述第二条件包括以下情形：对应于所述第二用户手 势的命令等效于对应于在所述第一用户手势与所述第二用户手势之间执行的手势的命 令，且所述设备进一步包括用于至少部分基于所述检测满足所述第二条件的所述第二用 户手势，绕过所述第二用户手势满足所述第一条件的要求的装置。

在所述设备的一些实施例中，所述第一条件包括第一方向上的运动或轨迹，且所述 第二条件包括使得所得运动方向实质上与所述第一方向对准的方向的改变。

在所述设备的一些实施例中，在不存在用户触摸所述计算装置的情况下，用于检测 所述第一用户手势的所述装置检测所述第一用户手势且用于检测所述第二用户手势的 所述装置检测所述第二用户手势。

在一些实施例中，一种处理器可读媒体包含处理器可读指令，所述处理器可读指令 经配置以致使处理器检测满足进入操作模式的第一条件的第一用户手势。所述指令可经 进一步配置以致使所述处理器退出所述操作模式。所述指令可经进一步配置以致使所述 处理器检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的 第二用户手势，其中所述第二条件不如所述第一条件严格。

在一些实施例中，一种方法包含检测第一约定手势。所述方法可进一步包含在检测 所述第一约定手势之后检测第一手势。所述方法可进一步包含检测第二手势。所述方法 可进一步包含确定对应于所述第一手势的命令等效于对应于所述第二手势的命令。所述 方法可进一步包含至少部分基于所述确定绕过对第二约定手势的要求。

在一些实施例中，一种用于供要求约定手势的系统使用的方法包含检测约定手势， 所述约定手势包含在第一时间段内维持处于第一位置的手的第一姿势。所述方法可进一 步包含在所述检测所述约定手势之后检测第一手势，所述第一手势包含所述手的第一运 动。所述方法可进一步包含确定所述手在第二时间段内实质上已返回到所述第一位置， 所述第二时间段小于所述第一时间段。所述方法可进一步包含在确定所述手已返回到所 述第二位置之后，检测第二手势，包含所述手的第二运动。

附图说明

可参看以下各图实现对各种实施例的性质和优点的进一步理解。在附图中，类似组 件或特征可具有相同参考标记。另外，可通过在参考标记之后跟着短划线及在类似组件 当中进行区分的第二标记来区分相同类型的各种组件。如果说明书中只使用第一参考标 记，那么描述适用于具有相同的第一参考标记的类似组件中的任一者，而与第二参考标 记无关。

图1为说明根据本发明的实施例的用于进入及退出操作模式的本发明的示范性实施 例的流程图。

图2为说明根据本发明的实施例的用于跟踪手势及对手势做出响应的本发明的示范 性实施例的流程图。

图3为说明根据本发明的实施例的用于检测稳定用户肢体的本发明的示范性实施例 的流程图。

图4为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势的 本发明的示范性实施例的流程图。

图5为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连 续手势的本发明的示范性实施例的流程图。

图6为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟 踪连续手势的本发明的示范性实施例的流程图。

图7为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势且 将反馈提供给用户的本发明的示范性实施例的流程图。

图8为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连 续手势且将反馈提供给用户的本发明的示范性实施例的流程图。

图9为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟 踪连续手势且将反馈提供给用户的本发明的示范性实施例的流程图。

图10为说明根据本发明的实施例的用于跟踪连续手势及检测手势的方向的改变的 本发明的示范性实施例的流程图。

图11说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模式。

图12A到12C说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模 式。

图13A到13B说明根据本发明的实施例的在进入手势操作模式及重新进入手势操作 模式时显示给用户的提示。

图14说明并有在实践本发明的实施例中使用的装置的部分的示范性计算机系统。

具体实施方式

本发明的方面提供执行手势辨识的更便利、直观及功能性方式。在触控系统中，手 指触摸屏幕的玻璃表面，且接着沿手势的方向移动，且接着从玻璃提起，这些操作要求 与用户进行触摸交互。然而，存在其中用户可能不能够或可能不想要触摸屏幕以便对提 示做出响应的许多情境。举例来说，用户可能正驾驶汽车且可能不想要使其眼睛离开道 路以触摸用户接口中的特定按钮或区。这些及许多其它情况指出具有可通过触摸激活的 接口的缺点。

为了说明性目的，本文中使用手姿势来描述本发明的实施例。然而，可使用任何用 户肢体来做出姿势和手势。在一些实施例中，用户的身体、脸或头可用以执行手势。所 属领域的技术人员将辨识可执行的其它手势。在一些实施例中，姿势可包括一种类型的 手势，且当手势包括姿势时，可使用描述手势的实施例。另外，在一些实施方案中，关 于姿势论述的实施例可供其它手势使用。在一些实施例中，手势或姿势可由用户执行及 /或通过装置或系统来检测，而用户不触摸装置或系统的屏幕或以其它方式接触装置或系 统。举例来说，如下文额外细节中所描述，在一些实施例中，可使用图像、超声波和/ 或深度传感器来检测姿势或手势。

本文中描述用于跟踪系统中的手势控制的重新约定的方法和设备的技术。约定手势 可包含用户在预定时间段内维持特定姿势，例如，维持例如手等人类肢体处于某一位置 或手姿势以便约定跟踪系统。预定姿势允许手势系统忽略不希望为控制手势的手运动且 因此可使得系统更稳健。在一些系统中，在检测到约定手势之前，忽略用户运动。在检 测到约定手势之后，可从用户手势识别手势命令。此后，在检测到另一约定手势之前， 系统可返回到忽略用户运动。如果用户正计划仅执行单个手势，那么与约定手势相关联 的延迟一股为用户可接受的，但如果用户想要做出一连串手势(比方说，滑过选项列表或 翻过虚拟书中的一连串页面)，那么在每个手势命令之前要求约定手势可为效率低下的。

本发明的实施例描述用于允许用户避免针对连续的重复手势的完全重新约定(例如， 第二约定手势)的技术。所描述的系统、方法、设备和计算机可读媒体可检测控制物体或 人类肢体(例如，手)到预定区的返回，以用于在计算机系统检测到一连串手势中的第一 手势且对第一手势做出响应时重新约定额外手势。

下文更详细地描述本发明的实施例的若干实施方案。一些实施例涉及计算机系统检 测其中用户保持其手不动地处于恒定位置、区域、区或地点的手势。在其它实施例中， 计算机系统检测例如手等用户肢体以特定方式(手掌摊开等)摆好姿势的要求。另一种方 法检测用户正朝向原始检测的手位置移动，但接着改变方向且沿原始检测的手势的方向 起始新的手势。在一些实施方案中，计算机系统检测人类肢体的稳定性以便确定用于约 定手势控制系统的手势。预定时间量可经配置以使得用户可取决于其偏好而缩短过程。

2D传感器跟踪

一个示范性实施例包括通过使用例如摄像机等二维(2D)图像传感器俘获多个图像 且分析那些图像以识别已知的手姿势(例如，摊开的手)来俘获计算系统前方的场景。一 种用于识别手姿势的技术可基于维奥拉-琼斯目标检测框架；然而，可使用用于确定手存 在的任何合适的手段。一旦计算机系统在预定时间段内检测到处于手姿势的手，便可使 用任选反馈机制来用信号向用户通知已约定“手势模式”。

在一些实施方案中，计算机系统使用手势检测算法来确定手从初始约定地点移动的 方向以实现向左、向右、向上或向下“滑动”。一些实施方案可使用以下各者中的一或 多者：卡纳德-卢卡斯-托马西(KLT)跟踪、直方图跟踪、随机决策森林、K-均值集群技术 和光流，或用于跟踪手势的任何合适的算法。一旦计算机系统确定滑动，系统便可对作 用中应用程序产生滑动信号且应用程序将适当地做出响应。

接下来，用户可能想要重新约定系统以便进行快速连续的另一种滑动。在一个实施 例中，计算机系统可通过检测用户的手返回处于原始跟踪地点或区(或在其阈值距离内的 区域)且变成所要的手姿势以使得能够再次进行手势检测来促进重新约定手势。在另一实 施例中，计算机系统可检测手返回处于预定区中，而不需要特定手姿势。在又一实施例 中，计算机系统可检测手或/和手姿势，且还检测手在预定区处的预定时间段以重新约定 手势跟踪系统。对于所有上述约定技术，计算机系统可为用户提供任选反馈机制(声音或 视觉或其它反馈机制)以用信号向用户通知已重新约定“手势模式”。计算机系统可开始 跟踪下一手势且过程可继续。在一些实施例中，在执行不同于预定滑动的手势之前，必 须在预定时间段内维持手姿势，但可重复滑动，即使在预定时间段内不维持手姿势也如 此，例如，如上文所描述。

使用光流的2D传感器跟踪：

在一个实施方案中，计算机系统使用光流目标检测框架来用于跟踪手势。在此方法 的一个实例中，可从一个帧到下一帧来分析在所检测的手的区及在所有所要方向上邻近 于所述区的区中的所俘获图像中的像素块(例如，每一16×16像素块)，且可针对下一帧 中的每一块的内容寻找最佳匹配。可使用绝对差总和(SAD)技术(对于每一像素值)来进行 此最佳匹配，或可使用任何其它合适的技术来进行此最佳匹配。从来自先前帧的给定 16×16块的原始位置到所述块在新帧中的位置的偏移可表示为(x，y)值，所述表达式表示 两个帧之间的所述像素块的运动的向量。通过累积整个手区的块运动数据，可确定手的 运动方向的准确表示。连续帧可提供一连串运动向量，且可累积这些运动向量以超过阈 值以识别已出现“滑动”动作。

一旦计算机系统已使用此技术检测到滑动动作，便有可能继续分析原始的所检测的 手地点周围的延伸区以寻找如手返回到开始点的“返回手势”。如果存在正向原始的所 检测的手区中移动的物体，那么此技术可使用与上文所使用的方法相同的16×16像素光 流方法。当出现此情形时，计算机系统可将任选反馈提供给用户，使得用户知道系统准 备好检测新的滑动。

计算机系统可通过检测手到第一手势的原始的或预定的区的一股区的返回来检测 返回位置，从而为用户提供灵活性。明确地说，用户常常可在手返回时“突增”原始的 手检测区。在一些实施例中，将此运动解译为相反方向上的滑动可能为不合需要的。为 了避免此不合需要的解译，“快速重新约定”可适用于在与一连串中的第一所检测的滑 动相同的方向上的滑动。因此，在一个实施方案中，与相反方向上的奇异事件相比较， 重复手势可为有利的。在此类实施方案中，可能需要使用手姿势检测器进行的计算机系 统的重新约定以在相反方向上滑动。因此，计算机系统可确定是否执行重复手势，而不 管是否检测重复约定手势。在一些实施方案中，当检测到重复手势时或当检测到回到初 始约定手势的位置的返回时，计算机系统可确定忽略或绕过对约定手势的要求。在一个 实施例中，手势控制系统可能要求在执行每个手势之前进行约定手势，但在执行重复手 势时，可绕过此类要求。除上文所论述的检测重复手势之外，还可使用检测重复手势的 其它方法，例如，下文所论述的方法。

使用直方图跟踪进行的2D传感器跟踪：

在另一实施方案中，计算机系统使用直方图跟踪技术来用于跟踪手势。在此方法的 一个实例中，使用如本文所描述的手检测器方法检测手的初始位置。一旦手位置为已知 的，便可采集手或与通过检测器找到的手的大小有关的固定大小中的手的部分的颜色样 本。举例来说，如果手姿势为摊开的手，那么计算机系统可仅取样手的手掌中的颜色。 因此，计算机系统可选择所找到的手区域的下部部分作为颜色样本区。颜色取样技术的 一个实施方案将颜色空间(例如，24位颜色空间)变为8位查找表，所述查找表将所有颜 色分摊到颜色表中的256个槽中的一者中。计算机系统可接着通过合计手掌区中的每一 槽的多个像素来建立所选定手掌区的直方图。此加总可产生所述手掌经设定大小的区的 颜色签名，所述颜色签名可基于手掌的颜色分布。

类似地，在一个实施方案中，对于后续帧，计算机系统可寻找帧中与所述颜色签名 的最佳匹配。此操作可通过以下操作来进行：针对每一手掌经设定大小的所关注区，建 立颜色直方图，且寻找具有最接近于上述经取样的签名的签名的区。手掌经设定大小的 所关注区可实质上全部在帧的单个行中，与原始手掌地点对准以便检测向左滑动和向右 滑动，或手掌经设定大小的所关注区可实质上与原始手掌检测区垂直对准以便检测向上 滑动和向下滑动，或可针对整个帧计算手掌经设定大小的所关注区。对于每一区，可将 所计算的直方图与参考手掌直方图相比较(例如，使用直接绝对差总和)，且最小的差异 可识别新帧中的最好的匹配区。在若干帧内使用此技术，可检测手的路径且将所述路径 存储为相对于原始手掌位置的一连串位置。可将这些位置从一个帧到下一个帧进行比较 且使用这些位置来确定已出现滑动(例如，在手位置在某一时间量内移动了某一距离的情 况下)。一旦触发了滑动，计算机系统中的直方图跟踪便可继续，直到手返回到开始地点 或区为止，且可用信号向用户通知重新约定以使得其可再次快速地滑动。在一个实施方 案中，此方法可使用较高阈值距离或甚至完全重新约定以便允许相反方向滑动来促进相 同方向上的后续滑动。也就是说，在一些实施例中，可促进相同方向上的后续滑动，这 是因为相同方向上的后续滑动可能更有可能指示用户的预期滑动(与可能为偶然手势的 相反方向上的滑动相比较)。因此，相反方向上的滑动可能要求检测在较长距离内的移动 或完全重新约定，例如，在被确认为命令之前，检测在完全约定时间内的约定姿势。

超声波传感器跟踪：

在一个实施方案中，本发明的实施例涉及使用一或多个超声波传感器的集合检测计 算机系统或装置前方的区中的手的存在。可使用来自这些传感器的输出来测量手的位 置。距离来说，系统可包含对超声波频率敏感的一或多个麦克风。麦克风可接收来自发 射器(例如，用以执行手势及发射超声波的超声波笔)的超声波信号，或系统可包括发射 被反射离开控制目标(例如，用户的手)且返回到麦克风的超声波的发射器。可通过比较 在预置时间量内的来自超声波传感器的连续输出来确定手或其它控制目标稳定地保持 处于一个地点。在一个方面中，可使用任选反馈机制来用信号向用户通知已约定“手势 模式”。

一旦约定了“手势模式”，计算机系统便可接收来自超声波传感器的输出且确定手 从初始位置起移动的方向以便检测向左、向右、向上或向下的“滑动”手势。一旦计算 机系统确定了滑动方向，系统便可对作用中应用程序产生滑动信号且应用程序可适当地 做出响应。

接下来，用户可能想要重新约定系统以便执行快速连续的另一种滑动。计算机系统 通过分析超声波传感器的输出直到手重新出现在原始跟踪地点或区为止来促进重新约 定。系统可接着用信号向用户通知已重新约定“手势模式”，或可添加小延迟以验证用 户已在所述地点停止其手以便验证另一种手势为所要的。计算机系统可接着任选地用信 号向用户通知已重新约定“手势模式”，及对用户的额外“滑动”的搜索。

深度传感器跟踪：

在一个实施方案中，本发明的实施例涉及通过俘获来自3D图像俘获系统的图像来 俘获装置前方的场景，所述3D图像俘获系统提供装置前方的场景的深度图。可由计算 机系统来分析此深度数据，以识别物体在装置前方或在更详细分析中，可确定存在手及 手保持处于特定手姿势(比方说，摊开的手)。在一个实施方案中，计算机系统将基于通 过直接分析3D深度数据或任何其它合适方法对3D图像中的手指进行计数来检测手姿 势。一旦计算机系统在预定时间量内检测到手的存在，便可使用任选反馈机制来用信号 向用户通知已约定“手势模式”。

一旦已检测到及约定“手势模式”，计算机系统便可使用手势检测算法来确定手从 初始约定地点起移动以实现向左、向右、向上或向下的“滑动”的方向。在深度传感器 的情况下，有可能确定在初始约定之后的后续帧中的手的绝对地点，且可使用手正移动 的方向来确定滑动的方向。一旦确定了滑动方向，计算机系统便可对作用中应用程序产 生滑动信号且应用程序可适当地做出响应。

接下来，计算机系统可在检测到快速连续的另一种滑动后重新约定。计算机系统可 通过分析手在原始跟踪地点或区中和/或所要手姿势中的返回以再次实现手势模式来促 进重新约定。在另一种方法中，计算机系统可检测用户恢复其手到原始跟踪地点或区， 而不要求手姿势。在又一种方法中，可结合检测手的稳定性或/和原始跟踪地点或区中的 手姿势来使用上述方法中的任一者。在所有这些情况下，计算机系统可提供任选反馈机 制(声音或视觉或其它方式)以用信号向用户通知已重新约定“手势模式”。计算机系统 可开始跟踪下一手势且过程可继续。

现将关于形成说明性实施例的一部分的附图来描述若干说明性实施例。虽然下文描 述可在其中实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不 脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。

快速手势重新约定

图1为说明根据本发明的实施例的用于进入及退出操作模式的本发明的示范性实施 例的流程图100。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括 硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件(嵌入 式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在 计算机系统上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作系 统1414和应用程序1416。

在框102处，计算机开始监视手势。在框104处，计算机系统检测满足进入操作模 式的第一条件的用户手势。可通过使用图像传感器(例如，摄像机1420(参见图14)和/或 输入装置1408)获得多个图像来检测用户手势。在一些实施例中，操作模式为手势跟踪 模式，包含在一段时间内检测用户手势及跟踪用户手势(框106)。可使用上文所描述的 跟踪方法中的任一者来完成跟踪手势，包含(但不限于)超声波传感器跟踪、深度传感器 跟踪、2-D传感器跟踪和/或直方图跟踪。

在另一实施例中，操作模式可为命令模式，包含执行计算机系统上的一或多个命令。 在命令模式中，可由计算机系统来解译用户手势。可将这些动作系结到用于计算机系统 的特定命令。计算机系统可执行这些命令且将反馈提供给用户。举例来说，用户可保持 其手处于某一预定义位置以将显示在计算机系统上的虚拟书翻一页。

在一些实施例中，用户手势可为固定手势。在另一实施例中，用户手势可为动态手 势。固定手势可为通过用户肢体执行的预定义静态姿势。举例来说，固定姿势可为摊开 的手掌手姿势或第一姿势或OK或V字形和平手势标志。动态手势可为通过用户肢体执 行的预定义运动或轨迹。举例来说，动态手势可为用户执行从左到右滑动手势。在一些 实施例中，在运动或轨迹期间，维持例如摊开的手掌手姿势等手姿势。

在框108处，计算机系统退出操作模式。在于一段时间内跟踪手势之后，计算机系 统可退出操作模式(手势跟踪模式和/或命令模式)。举例来说，在用户执行用户手势之后， 计算机系统退出操作模式。一旦用户手势完成，计算机系统便可退出手势跟踪模式和/ 或命令模式。此时，计算机系统可能不再接受手势输入。

在框110处，计算机系统(例如)使用摄像机1420和/或输入装置1408检测满足重新 进入操作模式的第二条件的用户手势。第二条件可能不如第一条件严格。在一些实施例 中，第一条件是在第一时间段内检测用户手势且第二条件是在第二时间段内检测用户手 势。第二时间段可比第一时间段短。举例来说，在第一预定时间段内，执行手姿势的用 户将满足第一条件。在检测到满足第一条件的用户手势且进入上文所描述的操作模式之 后，计算机系统可退出操作模式。此时，计算机系统可在第二时间段内检测满足第二条 件的用户手势，其中第二时间段比第一时间段短。举例来说，在比第一预定时间段短的 第二预定时间段内，执行手姿势的用户可满足第二条件。此实例为第二条件不如第一条 件严格的实例。用户可在比用户保持手姿势的第一时间短的时间内再次保持手姿势。在 检测到满足此第二条件的用户手势后，计算机系统便可重新进入操作模式(手势跟踪和/ 或命令)以继续为用户提供交互和反馈。替代地，如果未检测到用户手势满足第二条件， 那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命 令之前完全地重新约定计算机系统。

可了解，退出操作模式的决策(框108)可能并非必要的。也就是说，可在检测到满 足第二条件的用户手势(框110)的时间做出可退出操作模式的决策(框108)。在一些实施 例中，如果从未检测到满足第二条件的用户手势(框110)，那么计算机系统可在检测到 满足第一条件的用户手势后便保持处于操作模式。在一些实施例中，退出操作模式包括 重新进入或重新约定操作模式。

在一些实施例中，第一条件是在第一区内检测用户手势且第二条件是在第二区内检 测用户手势。第二区可大于。在一些实施例中，所述检测包含通过在一段时间内检测与 用户肢体相关联的移动是否低于第一区中的预定义移动阈值，确定用户肢体是否稳定处 于第一区内。举例来说，在显示装置的第一区内，执行手姿势的用户将满足第一条件。 在检测到满足第一条件的用户手势且进入上文所描述的操作模式之后，计算机系统可退 出操作模式。此时，计算机系统可在第二区内检测满足第二条件的用户手势，其中第二 区大于第一区。举例来说，在大于显示装置的第一区的显示装置的第二区内，执行手姿 势的用户可满足第二条件。此实例为第二条件不如第一条件严格的实例。在检测到满足 此第二条件的用户手势后，计算机系统便可重新进入操作模式(例如，手势跟踪和/或命 令)以继续为用户提供交互和反馈。

在一些实施例中，第一条件是检测达到第一预定置信水平的用户手势且第二条件是 检测达到第二预定置信水平的用户手势。第一和第二预定置信水平与用户实际上正执行 预期手势(例如，固定或动态手势)的计算机系统置信度有关。置信水平可供系统使用以 滤出无意的用户输入。可了解，第一和第二置信水平可在最小阈值内且超过最小阈值的 条件可被视为满足第一和第二置信水平。在一些实施例中，第二置信水平可低于第一置 信水平。在其中第一和第二条件包括正执行手姿势的置信水平的一个实例中，置信下限 可准许用户执行不太确定的或更松弛的手势，(例如)从而允许用户的手指在第二手姿势 期间卷曲，而不是手指笔直的，如在一些实施例中第一手姿势可能要求的那股。在一些 实施例中，阈值下限可准许用户执行具有较低精确度的动态手势。

在一些实施例中，计算机系统可进一步提供指示响应于检测而重新进入操作模式的 反馈。举例来说，在计算机系统检测到满足重新进入操作模式的第二条件的用户手势之 后，计算机系统可将反馈提供给用户(经由例如显示器等输出装置)，从而指示已重新进 入操作模式。此反馈可为用户提供关于计算机系统的目前操作方式的视觉和/或听觉提 示。

在一些实施例中，计算机系统可进一步确定对应于第一用户手势的命令是否等效于 对应于第二用户手势的命令。计算机系统可至少部分地基于所述确定进一步绕过对第二 用户手势满足第二条件的要求。举例来说，如果用户执行满足第一条件的第一手势，例 如，执行从左到右滑动以指示用户希望将虚拟书翻一页，且用户执行等效于第一手势的 第二手势，那么计算机系统将通过将虚拟书翻另一页来做出响应，而不要求第二手势满 足第二条件。第二条件可为(例如)在显示装置的相对相同的区域中执行手势。在一些实 施例中，第二条件可包括滑动的最小长度。举例来说，如果用户用手执行从左到右滑动 且接着将手返回到其中开始滑动的位置的阈值内的区域，那么系统可检测到执行第二滑 动，即使在一些实施例中第二滑动并不满足长度要求也如此。在一些实施例中，检测第 一滑动可能要求第一长度，而检测重复滑动可能要求比第一长度短的第二长度。在一些 实施例中，第一条件包括约定手势，例如，在阈值时间量内维持手姿势，且系统在满足 第一条件之后检测手势(例如，滑动)。在一些此类实施例中，如果系统此后检测到另一 滑动手势，那么可绕过对约定手势的要求。因此，在其中在执行另一手势之前要求约定 手势的系统中(-在此类系统中，第一和第二条件可包括约定手势-)，可检测重复手势，甚 至在一些实施例中在不存在约定手势的情况下也如此。

图2为说明根据本发明的实施例的用于跟踪手势及对手势做出响应的本发明的示范 性实施例的流程图200。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)， 其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件 (嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执 行。在计算机系统上运行的软件可包括存储在工作存储器1418中或存储装置1406上的 操作系统1414和应用程序1416。

在框202处，计算机系统开始监视手势。在框204处，计算机系统(例如)使用摄像 机1420和/或输入装置1408在第一预定义时间段内检测一位置、区、地点或区域中的用 户肢体的初始存在。在于第一预定义时间段内检测一区中的用户肢体的初始存在约定手 势模式以用于跟踪手势的目的。在一些实施例中，计算机系统可经配置以检测预定义区 中的用户肢体。用户肢体可为手。在一些实施方案中，检测用户肢体的初始存在包括检 测所述区中的手姿势。此外，检测用户肢体的初始存在可包括检测用户的肢体稳定地处 于所述区中。在一个实施方案中，检测用户肢体稳定可涉及在所述区中在第一预定义时 间段内检测低于预定义阈值的与用户肢体相关联的移动。尽管可使用任何合适手段，但 在一个实施方案中，由计算机系统执行的方法可使用维奥拉-琼斯目标检测框架用于检测 用户肢体的存在。

计算机系统可(例如)使用输出装置1410进一步将以下反馈提供给用户：系统约定手 势模式且准备好跟踪手势。反馈可为视觉、音频或战术反馈中的一或多者。

在框206处，由计算机系统执行的方法从检测到用户肢体的初始存在的区开始跟踪 用户肢体的手势。用户肢体可为用户的手。跟踪手势可包括首先检测手势且接着在一段 时间内跟踪手势。可使用维奥拉-琼斯目标检测框架或任何其它合适手段来检测手势。在 一个实施方案中，跟踪手势包括使用通信地耦合到计算装置的图像传感器获得包含用户 肢体的多个图像，及通过分析所述多个图像中与用户肢体相关联的属性的改变来确定特 定方向上的用户肢体的移动。可在感测用户肢体中使用图14中所描述的摄像机1420(参 见图14)和其它输入装置1408。由计算机系统执行的方法可使用光流框架或直方图框架， 使用多个二维图像、超声波传感器跟踪或深度传感器跟踪以用于跟踪手势，如上文所描 述，或任何其它合适手段。

在框208处，由计算机系统执行的方法对手势的跟踪做出响应。在一个实例中，用 户可使用手势来翻页或移动显示单元上所显示的目标或作为全息或3D图像。此手势可 影响装置1400的应用程序1416或其它元件。在一个实例中，对用户的手势的响应可见 于显示装置(例如，图14中所描述的输出装置1410)上。

在框210处，在检测到用户肢体的后续存在后，由计算机系统执行的方法便重新约 定手势模式以用于跟踪连续手势。针对快速连续手势重新约定跟踪系统的一个优点在 于：允许计算机系统较快速地对用户的手势(例如，从头到尾翻阅书的页面)做出响应， 而不要求用户针对重复手势约定系统(框204)(否则的话，所述情形可花费较长设置时 间)。

在框210处，由计算机系统执行的方法在第二预定义时间段内检测区中的用户肢体 的后续存在且重新约定手势模式。在一些实施方案中，第二预定义时间段比第一预定义 时间段短。用于进行重新约定的用户肢体检测的区可大于用于初始约定的区。此实例为 第二条件不如第一条件严格的实例。在又其它实施方案中，可能不需要第二预定义时间 段且第二预定义时间段可能为零或可忽略。

计算机系统可经配置以检测与最初检测到用户肢体的区相同的区中的用户肢体(在 框204处)。计算机系统还可考虑随时间的区的偏差。用户肢体可为手。在一些实施方案 中，检测用户肢体的初始存在包括检测所述区中的手姿势。此外，检测用户肢体的初始 存在可包括检测用户的肢体稳定地处于所述区中。在一个实施方案中，检测用户肢体稳 定可涉及在所述区中在第一预定义时间段内检测低于预定义阈值的与用户肢体相关联 的移动。尽管可使用任何合适手段，但在一个实施方案中，由计算机系统执行的方法可 使用维奥拉-琼斯目标检测框架用于检测用户肢体的存在。

计算机系统可(例如)使用输出装置1410进一步将以下反馈提供给用户：系统重新约 定手势模式且准备好跟踪手势。反馈可为视觉、音频或战术反馈中的一或多者。可使用 图14中所描述的输出装置1410将反馈提供给用户。一旦重新约定手势模式，由计算机 系统执行的方法便可从所述区开始跟踪用户肢体的手势(框206)及对手势的跟踪做出响 应(框208)。

如果计算机系统(例如)在阈值时间段内并未检测到用户肢体的后续存在(框210)，那 么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令 之前完全地重新约定计算机系统。

图3为说明根据本发明的实施例的用于检测稳定用户肢体的本发明的示范性实施例 的流程图300。方法300是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬 件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件(嵌入式 软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计 算机系统上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作系统 1414和应用程序1416。

在框302处，计算机系统开始监视用户的手。在框304处，由计算机系统执行的方 法在预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。地点可为图像俘 获装置(例如，摄像机1420)可见的区域。地点还可为用户的手的初始检测点周围的预定 义半径范围。在一些实施例中，可通过用户的手的初始检测点周围的方框或矩形来界定 地点。用户的手的初始检测点可使用(x，y)坐标来界定。在框306处，由计算机系统执行 的方法从其中检测到用户的手的地点(例如，使用摄像机1420和/或输入装置1408)开始 跟踪手势。在框308处，由计算机系统执行的方法对手势做出响应。对手势的响应可为 外部可见的(例如，翻阅虚拟书页面的表示)，或可为内部触发以用于通过计算机系统执 行任务。在框310处，由计算机系统执行的方法等待用户的手返回到其中最初检测到用 户的手的地点。如上文所描述，地点可为用户的手的初始检测点周围的预定义半径范围 或方框/矩形。在一些实施例中，地点可相对于用户的身体来说(例如，在执行向左滑动 之后返回到用户的右侧)，即使绝对位置可能已关于摄像机1420改变也如此。在一些实 施例中，地点可在绝对原始位置(初始检测点)的阈值距离内，或在原始半径范围、方框、 矩形、区等的外围内。如果用户的手返回，那么重新约定用于手势的跟踪系统且系统继 续跟踪手势(框306)。可了解，在系统继续跟踪手势(框306)后，便可绕过框304。

上文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420和其它输入装置1408。在框302处，系统继续分析所获得的图像以用于检 测用户的手。在框304处，计算机系统在预定义时间段内通过分析所述多个图像(例如， 使用摄像机1420和/或输入装置1408俘获的图像)检测用户的手稳定且处于一地点。在 框306处，计算机系统从所述地点开始通过分析后续图像检测手势且跟踪手势。在框308 处，计算机系统对所检测到的手势做出响应。在框310处，计算机系统等待且通过分析 后续图像检测返回到地点的用户的手。如果检测到用户的手，那么计算机系统从原始地 点开始通过分析后续图像跟踪手势(在框306处)且对手势做出响应(在框308处)。

如果计算机系统在预定时间段之后(例如，在阈值时间段内)并未检测到手的返回(框 310)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续 手势命令之前完全地重新约定计算机系统。

图4为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势的 本发明的示范性实施例的流程图400。方法400是由处理逻辑来执行，例如处理器1404(参 见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上 运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装 置1400来执行。在计算机系统上运行的软件可包括存储在工作存储器1418中或存储装 置1406上的操作系统1414和应用程序1416。

在框402处，计算机系统开始监视用户的手。在框404处，由计算机系统执行的方 法在第一预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。在框406处， 由计算机系统执行的方法从其中检测到用户的手的地点(例如，使用摄像机1420和/或输 入装置1408)开始跟踪手势。在框408处，由计算机系统执行的方法对手势做出响应。 对手势的响应可为外部可见的(例如，翻阅虚拟书页面的表示)，或可为内部触发以用于 通过计算机系统执行任务。在框410处，由计算机系统执行的方法等待用户的手返回到 其中最初检测到用户的手的地点。如果用户的手返回到原始地点，那么在重新约定用于 手势的跟踪系统且系统再次继续跟踪手势(框406)之前，在框412处，计算机系统等待 额外的第二预定义时间段以检测用户的手的稳定性，其中第二预定义时间段比第一预定 义时间段短。此实例为第二条件不如第一条件严格的实例。

上文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420(参见图14)和其它输入装置1408。在框402处，系统开始分析所获得的图 像以用于检测用户的手。在框404处，计算机系统在第一预定义时间段内通过分析所述 多个图像检测用户的手稳定且处于一地点。在框406处，计算机系统从所述地点开始通 过分析后续图像检测手势且跟踪手势。在框408处，计算机系统对所检测到的手势做出 响应。在框410处，计算机系统等待且通过分析后续图像检测返回到地点的用户的手。 如果检测到用户的手，那么在从原始地点开始通过分析后续图像跟踪手势(在框406处) 且对手势做出响应(在框408处)之前，在框412处，计算机系统进一步等待额外的第二 预定义时间段以确保用户的手的稳定性。可了解，在系统继续跟踪手势(框306)后，便 可绕过框304。

如果计算机系统(例如)在阈值时间段内并未检测到用户的手的稳定性(框412)，那么 所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之 前完全地重新约定计算机系统。

图5为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连 续手势的本发明的示范性实施例的流程图500。方法500是由处理逻辑来执行，例如处 理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或 专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由 图14的装置1400来执行。在计算机系统上运行的软件可包括存储在工作存储器1418 中或存储装置1406上的操作系统1414和应用程序1416。

本文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420(参见图14)和其它输入装置1408。在框502处，系统继续分析所获得的图 像(例如，使用摄像机1420和/或输入装置1408)以用于检测用户的手。在框504处，计 算机系统在预定义时间段内通过分析所述多个图像检测手姿势及用户的手在一地点稳 定地处于所述手姿势。在框506处，计算机系统从所述地点开始通过分析后续图像检测 手势且跟踪手势。在框508处，计算机系统对所检测到的手势做出响应。在框510处， 计算机系统等待且通过分析后续图像检测返回到地点的用户的手及用户的手姿势。如果 检测到用户的手的返回及手姿势，那么计算机系统从原始地点开始通过分析后续图像跟 踪手势(在框506处)且对手势做出响应(在框508处)。可了解，在系统继续跟踪手势(框 506)后，便可绕过框505。

如果计算机系统(例如)在阈值时间段内并未检测到返回地点的用户的手及用户的手 姿势(框510)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行 任何后续手势命令之前完全地重新约定计算机系统。

图6为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟 踪连续手势的本发明的示范性实施例的流程图600。所述方法是由处理逻辑来执行，例 如处理器1404，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机 器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，方法600是由图14 的装置1400来执行。在计算机系统上运行的软件可包括存储在工作存储器1418中或存 储装置1406上的操作系统1414和应用程序1416。

本文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420和其它输入装置1408。在框602处，系统开始分析所获得的图像(例如，使 用摄像机1420和/或输入装置1408)以用于检测用户的手。在框604处，计算机系统在第 一预定义时间段内通过分析所述多个图像检测手姿势及用户的手稳定地处于一地点。在 框606处，计算机系统从所述地点开始通过分析后续图像检测手势且跟踪手势。在框608 处，计算机系统对所检测到的手势做出响应。在框610处，计算机系统等待且通过分析 后续图像检测返回到地点的用户的手及手姿势。如果检测到用户的手及手姿势，那么在 从原始地点开始通过分析后续图像跟踪手势(在框606处)且对手势做出响应(在框608处) 之前，在框612处，计算机系统进一步等待额外的第二预定义时间段以确保手姿势的稳 定性。第二预定时间段可比第一预定时间段短。此实例为第二条件不如第一条件严格的 实例。可了解，在系统继续跟踪手势(框606)后，便可绕过框604。

如果计算机系统(例如)在阈值时间段内并未检测到手姿势的稳定性(框612)，那么所 述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前 完全地重新约定计算机系统。

图7为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势且 将反馈提供给用户的本发明的示范性实施例的流程图700。所述方法是由处理逻辑来执 行，例如处理器1404，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或 专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由 图14的装置1400来执行。在计算机系统上运行的软件可包括存储在工作存储器1418 中或存储装置1406上的操作系统1414和应用程序1416。

在框702处，计算机系统开始监视用户的手。在框704处，由计算机系统执行的方 法在预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。在框706处，由 计算机系统执行的方法可响应于确定在预定义时间段内用户的手稳定且处于一地点而 (例如)使用输出装置1410将约定系统的反馈提供给用户。在框708处，由计算机系统执 行的方法从其中检测到用户的手的地点开始跟踪手势。在框710处，由计算机系统执行 的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅虚拟书页面的表示)， 或可为内部触发以用于通过计算机系统执行任务。在框712处，由计算机系统执行的方 法等待用户的手返回到其中最初检测到用户的手的地点。在框714处，计算机系统可等 待第二预定义时间段以确定手处于稳定手姿势。如果用户的手返回，检测到手姿势且手 稳定，那么重新约定用于手势的跟踪系统且系统继续跟踪手势(框708)。任选地，计算 机系统可提供额外反馈：重新约定系统以用于再次跟踪(框706)。可了解，在系统继续 跟踪手势(框706)后，便可绕过框704。

如果计算机系统(例如)在阈值时间段内并未检测到稳定手姿势(框714)，那么所述方 法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全 地重新约定计算机系统。

图8为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连 续手势且将反馈提供给用户的本发明的示范性实施例的流程图800。所述方法是由处理 逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如， 在通用计算系统或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例 中，所述方法是由图14的装置1400来执行。在计算机系统上运行的软件可包括存储在 工作存储器1418中或存储装置1406上的操作系统1414和应用程序1416。

本文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420和其它输入装置1408。在框802处，系统继续分析所获得的图像以用于检 测用户的手。在框804处，计算机系统在预定义时间段内通过分析所述多个图像检测手 姿势及用户的手在一地点稳定地处于所述手姿势。在框806处，由计算机系统执行的方 法可(例如)使用输出装置1410将约定系统的反馈提供给用户。在框808处，计算机系统 从所述地点开始通过分析后续图像检测手势且跟踪手势。在框810处，计算机系统对所 检测到的手势做出响应。在框812处，计算机系统等待且通过分析后续图像检测用户的 手返回到地点及用户的手姿势。在框806处，计算机系统可提供额外反馈：重新约定系 统以用于再次跟踪。如果检测到用户的手的返回及手姿势，那么计算机系统从原始地点 开始通过分析后续图像跟踪手势(在框808处)且对手势做出响应(在框810处)。可了解， 在系统继续跟踪手势(框806)后，便可绕过框804。

如果计算机系统并未检测到返回到地点的用户的手及手姿势(框812)，那么所述方 法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全 地重新约定计算机系统。

图9为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟 踪连续手势且(例如)使用输出装置1410将反馈提供给用户的本发明的示范性实施例的 流程图900。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件 (电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件(嵌入式软 件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算 机系统上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作系统 1414和应用程序1416。

本文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420和其它输入装置1408。在框902处，系统开始分析所获得的图像(例如，使 用摄像机1420和/或输入装置1408获得的图像)以用于检测用户的手。在框904处，计 算机系统在第一预定义时间段内通过分析所述多个图像检测手姿势及用户的手稳定地 处于一地点。在框906处，由计算机系统执行的方法可将约定系统的反馈提供给用户。 在框908处，计算机系统从所述地点开始通过分析后续图像检测手势且跟踪手势。在框 910处，计算机系统对所检测到的手势做出响应。在框912处，计算机系统等待且通过 分析后续图像检测返回到地点的用户的手及手姿势。如果检测到用户的手及手姿势，那 么在从原始地点开始通过分析后续图像跟踪手势(在框908处)且对手势做出响应(在框 910处)之前，在框914处，计算机系统进一步等待额外的第二预定义时间段以确保手姿 势的稳定性。第二预定时间段可比第一预定时间段短。此实例为第二条件不如第一条件 严格的实例。在再次跟踪及做出响应之前，在框906处，计算机系统可(例如)使用输出 装置1410将跟踪系统返回手势模式的反馈提供给用户。可了解，在系统将反馈提供给 用户(框906)后，便可绕过框904。

如果计算机系统(例如)在阈值时间段内并未检测到手姿势的稳定性(框914)，那么所 述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前 完全地重新约定计算机系统。

图10为说明根据本发明的实施例的用于跟踪连续手势及检测手势的方向的改变的 本发明的示范性实施例的流程图1000。所述方法是由处理逻辑来执行，例如处理器 1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用 机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14 的装置1400来执行。在计算机系统上运行的软件可包括存储在工作存储器1418中或存 储装置1406上的操作系统1414和应用程序1416。

在框1002处，计算机系统开始监视用户的手。在框1004处，由计算机系统执行的 方法在预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。在框1006处， 由计算机系统执行的方法从其中检测到用户的手的地点开始跟踪手势。在框1008处， 由计算机系统执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅书 页面的表示)，或可为内部触发以用于通过计算机系统执行任务。在框1010处，由计算 机系统执行的方法等待用户的手到其中最初检测到用户的手的地点的至少一部分返回。 在框1012处，计算机系统检测远离初始地点的方向的改变，而手未到达初始地点。在 一个实施例中，计算机系统检测用户的手的此部分返回，作为用户重新约定手势模式的 意图。因此，计算机系统重新约定手势模式且再次在框1006处开始跟踪。因此，甚至 在用户未完全返回到开始点时，也可基于控制目标的方向的改变重新约定手势模式。

在替代实施例中，在框1006之后，当手势跟踪器无法在手势的整个运动路径内跟 踪手时，可能丢失手。举例来说，手运动可能离开传感器的视场，或手姿势和定向可能 在传感器看来在外观上显著地改变，从而致使手跟踪器不再能够跟踪手的地点。如果在 紧于丢失手之前观测到手势的一部分，那么可将部分运动路径分类为手势。在框1008 处，由计算机系统执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻 阅书页面的表示)，或可为内部触发以用于通过计算机系统执行任务。在框1010处，由 计算机系统执行的方法等待跟踪器在从最近丢失手起的预定义时间段内重新检测手。在 一个实施例中，计算机系统确定用户的手的此重新检测为用户重新约定手势模式的意 图。举例来说，重新检测手可能要求手返回到传感器的视场，或手姿势和定向返回到类 似于原始姿势和定向的姿势和定向，所述情形可暗示用户重新约定手势模式的意图。因 此，计算机系统重新约定手势模式且再次在框1006处开始跟踪。可了解，在系统继续 跟踪手势(框1006)后，便可绕过框1004。

上文所描述的本发明的实施例可通过使用通信地耦合到计算机系统的图像传感器 获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个 摄像机1420和其它输入装置1408。在框1002处，系统继续分析所获得的图像以用于检 测用户的手。在框1004处，计算机系统在预定义时间段内通过分析所述多个图像检测 用户的手稳定且处于一地点。在框1006处，计算机系统从所述地点开始通过分析后续 图像检测手势且跟踪手势。在框1008处，计算机系统对所检测到的手势做出响应。在 框1010处，计算机系统等待且通过分析后续图像检测用户的手部分地返回到地点。在 框1012处，计算机系统通过分析多个图像检测用户的手远离初始地点的方向的改变。 在一个实施例中，计算机系统检测用户的手的此部分返回，作为用户重新约定手势模式 的意图。因此，计算机系统重新约定手势模式且再次在框1006处开始跟踪。

如果计算机系统(例如)在阈值时间段内并未检测到方向的改变(框1012)，那么所述 方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完 全地重新约定计算机系统。

图11说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模式。用 户可执行在第一预订时间段1101内保持手势1100(例如，手姿势)的用户手势，以满足进 入手势操作模式1102的条件，如上文所描述。用户可接着执行手势或姿势1103且离开 跟踪区域或以其它方式退出手势操作模式(例如，通过完成预定命令)。用户可接着重新 建立手姿势1104且在小于第一时间段的第二预定时间段1105内维持所述姿势，且计算 机系统可再一次进入手势操作模式1102。当重新进入手势操作模式时，计算机系统不需 要基于第一条件建立手势操作模式。举例来说，计算机系统不需要执行用户想要执行手 势的完全实现过程，这是因为用户已经调用手势操作模式。计算机可在小于第一预定时 间段的第二预定时间段内简单地辨识手势或姿势且重新进入手势操作模式。也就是说， 完全检测和/或完全手势约定不需要为完成的，这是因为其先前已完成。

图12A到12C说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模 式。图12A展示移动装置1202，例如智能电话，其能够检测、辨识用户的手势1100输 入及对手势做出响应。手势1100可通过摄像机1420和在移动装置1202内部的其它处 理逻辑来检测及辨识。当手势1100呈现在移动装置1202上所显示的第一区1204内时， 可辨识手势1100。在一些实施例中，可能需要在预定时间段内在第一区1204内辨识手 势1100。在预定时间段之后，移动装置1202可进入手势跟踪模式和/或命令模式。当处 于手势跟踪模式时，移动装置1202可跟踪由用户执行的手势1100。当处于命令模式时， 移动装置1202可基于手势1100执行系统命令。可了解，此实例利用手来描绘手势；然 而，可使用其它手势，例如，上文所描述的手势。

图12B展示不再处于第一区1204内的手势1100。举例来说，如果用户将其手移动 到用于检测及辨识手势的第一区外部，那么移动装置1202可退出手势跟踪模式和命令 模式。除非移动装置1202重新进入手势跟踪模式和命令模式，否则移动装置1202可能 不再对任何手势1100做出响应。

图12C展示第二区1206内的手势1100。在此特定实施例中，第二区1206大于第一 区1204。在检测到第二区1206内的手势1100后，移动装置1202可重新进入手势跟踪 模式和命令模式。在一些实施例中，在移动装置1202重新进入手势跟踪模式和命令模 式之前，可能需要在预定时间段内在第二区1206内辨识手势1100。在一些实施例中， 用于重新进入手势跟踪模式和命令模式的预定时间段可小于用于进入手势跟踪模式和 命令模式的预定时间段。

由于移动装置1202在预定时间段内且在第一区1204(图12A)内检测到手势1100， 因此移动装置1202可能不会在退出手势跟踪模式和命令模式之后要求完全检测过程以 重新进入手势跟踪模式和命令模式。在一些实施例中，可存在预定义超时时间，其界定 用户在必须再次执行完全检测过程之前可能能够重新进入手势跟踪模式的时间。因而， 第二区1206可大于第一区1204，这是因为以下情形为更有可能的：较大的第二区1206 内的手势1100实际上为手势1100而并非用户的偶然输入。类似地，由于相同原因，用 于重新进入手势跟踪模式和命令模式的预定时间段可小于用于最初进入手势跟踪模式 和命令模式的预定时间段。

图13A到13B说明根据本发明的实施例的在进入手势操作模式及重新进入手势操作 模式时显示给用户的提示1308、1310。图13A说明在进入手势跟踪模式和/或命令模式 时显示给用户的手势约定提示1308。如上文所描述，用户可在第一区1204中执行手势 1100以进入移动装置1202上的手势跟踪操作模式和/或命令操作模式。在一些实施例中， 可将手或手势1100的表示显示在显示装置(例如，输出装置1410)上，以向用户指示用 户正执行手势的地点。然而，在执行手势1100之前，移动装置1202可向用户显示手势 约定提示1308，所述提示指示移动装置1202准备好检测用于约定的初始手势以进入手 势操作模式。举例来说，移动装置1202可显示陈述“请将你的手放在指明的区域中以 进入手势控制模式”的手势约定提示1308。一旦显示提示，用户便可接着在预定时间段 内在移动装置1202的第一区1204中执行手势1100以进入手势跟踪模式和/或命令模式。 在一些实施例中，在进入手势跟踪模式和/或命令模式后，移动装置1202便可显示陈述 已进入手势跟踪模式和/或命令模式的提示。

图13B说明在重新进入手势跟踪模式和/或命令模式时显示给用户的手势重新约定 提示1310。如上文所描述，在最初与移动装置1202约定手势操作模式和/或命令模式且 随后解除约定手势操作模式和/或命令模式之后，用户可通过在移动装置1202的第二区 1206中执行手势1100重新约定手势跟踪模式和/或命令模式。在执行用于重新约定的手 势1100之后，移动装置1202可向用户显示手势重新约定提示1310，所述提示指示移动 装置1202已重新约定手势跟踪模式和/或命令模式。举例来说，移动装置1202可显示陈 述“已重新约定手势控制模式”的手势重新约定提示1310。

可在例如计算机系统等此类系统中实践上文所描述的所有实施例。

图14说明根据本发明的实施例的并有在实践本发明的实施例中使用的装置的部分 的示范性计算机系统。如图14中所说明的计算机系统可作为上文描述的计算机化装置 的部分而并入。举例来说，计算机系统1400可表示以下装置的组件中的一些组件：电 视机、移动装置、服务器、桌上型计算机、工作站、汽车中的控制或交互系统、平板计 算机、上网本或任何其它合适的计算系统。移动装置可为具有图像俘获装置或输入感官 单元和用户输出装置的任何计算装置。图像俘获装置或输入感官单元可为摄像机装置。 用户输出装置可为显示单元。移动装置的实例包含(但不限于)视频游戏控制台、平板计 算机、智能电话和任何其它手持式装置。图14提供计算机系统1400的一个实施例的示 意性说明，所述计算机系统可执行通过各种其它实施例提供的方法(如本文所描述)，及/ 或可充当主控计算机系统、远程查询一体机/终端、销售点装置、汽车中的电话或导航或 多媒体接口、移动装置、机顶盒、桌上型计算机和/或计算机系统。图14仅意欲提供对 各种组件的一股化说明，可在适当时利用所述组件中的任一者或全部。因此，图14广 泛地说明可如何以相对分离或相对较集成方式实施个别系统元件。在一些实施例中，装 置1400可用以实施移动装置1202。

展示计算机系统1400包括可经由总线1402电耦合(或可在适当时以其它方式通信) 的硬件元件。所述硬件元件可包含：一或多个处理器1404，包含(但不限于)一或多个通 用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器，和/或 其类似者)；一或多个输入装置1408，其可包含(但不限于)一或多个摄像机、传感器、鼠 标、键盘、经配置以检测超声波或其它声音的麦克风，和/或其类似者；以及一或多个输 出装置1410，其可包含(但不限于)显示单元(例如，本发明的实施例中所使用的装置)、 打印机和/或其类似者。额外摄像机1420可用于检测用户的肢体和手势。在一些实施方 案中，输入装置1408可包含一或多个传感器，例如红外线传感器、深度传感器和/或超 声波传感器。

在本发明的实施例的一些实施方案中，各种输入装置1408和输出装置1410可嵌入 到例如显示装置、桌子、地板、壁和窗口屏幕等接口中。此外，耦合到处理器的输入装 置1408和输出装置1410可形成多维跟踪系统。

计算机系统1400可进一步包含以下各者(及/或与以下各者通信)：一或多个非暂时 性存储装置1406，所述非暂时性存储装置1406可包括(但不限于)本地和/或网络可存取 的存储装置，及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机 存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、 可快闪更新的及/或其类似者。此类存储装置可经配置以实施任何适当数据存储装置，包 含(但不限于)各种文件系统、数据库结构和/或其类似者。

计算机系统1400还可包含通信子系统1412，其可包含(但不限于)调制解调器、网 卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，Bluetooth^TM装置、 802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)及/或其类似者。通信子系统 1412可准许与网络、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在 许多实施例中，计算机系统1400将进一步包括非暂时性工作存储器1418，其可包含RAM 或ROM装置，如上文所描述。

计算机系统1400还可包括展示为当前位于工作存储器1418内的软件元件，包含操 作系统1414、装置驱动器、可执行库及/或例如一或多个应用程序1416等其它代码，其 可包括通过各种实施例提供及/或可经设计以实施方法及/或配置系统、通过其它实施例 提供的计算机程序，如本文中所描述。仅仅作为实例说明，关于上文所论述的方法所描 述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令； 接着，在一方面中，此类代码和/或指令可用以配置及/或调适通用计算机(或其它装置) 以根据所描述方法执行一或多个操作。

一组这些指令和/或代码可存储在计算机可读存储媒体(例如，上文所描述的存储装 置1406)上。在一些情况下，存储媒体可并入于计算机系统(例如，计算机系统1400)内。 在其它实施例中，存储媒体可与计算机系统分离(例如，可装卸式媒体(例如，压缩光盘)， 及/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码 的通用计算机。这些指令可呈可由计算机系统1400执行的可执行代码形式，及/或可呈 源和/或可安装代码的形式，所述源和/或可安装代码在由计算机系统1400编译及/或安装 于计算机系统上后(例如，使用多种大体可用编译程序、安装程序、压缩/解压缩公用程 序等中的任一者)，接着呈可执行代码的形式。

可根据特定要求做出实质性变化。举例来说，还可使用定制硬件，及/或可将特定元 件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可使用到例如 网络输入/输出装置等其它计算装置的连接。在一些实施例中，可省略计算机系统1400 的一或多个元件或可将其与所说明系统分离来实施。举例来说，可将处理器1404和/或 其它元件与输入装置1408分离来实施。在一个实施例中，处理器经配置以接收来自分 别实施的一或多个摄像机的图像。在一些实施例中，可将除图14中所说明的元件之外 的元件包含在计算机系统1400中。

一些实施例可使用计算机系统(例如，计算机系统1400)来执行根据本发明的方法。 举例来说，所描述方法的程序中的一些程序或全部可由计算机系统1400响应于处理器 1404执行工作存储器1418中所含有的一或多个指令(其可并入到操作系统1414和/或其 它代码中，例如，应用程序1416)的一或多个序列来执行。可将此类指令从另一计算机 可读媒体(例如，存储装置1406中的一或多者)读入到工作存储器1418中。仅仅作为实 例说明，执行工作存储器1418中所含有的指令序列可致使处理器1404执行本文中所描 述方法的一或多个程序。

如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使 机器以特定方式操作的数据的任何媒体。在使用计算机系统1400实施的一些实施例中， 在将指令/代码提供到处理器1404以用于执行中可能涉及各种计算机可读媒体，及/或各 种计算机可读媒体可用以存储及/或携载此类指令/代码(例如，作为信号)。在许多实施方 案中，计算机可读媒体为物体和/或有形存储媒体。此类媒体可呈许多形式，包含(但不 限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘， 例如存储装置1406。易失性媒体包含(但不限于)例如工作存储器1418等动态存储器。 传输媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线1402的电线，以及通信 子系统1412的各种组件(和/或通信子系统1412提供与其它装置的通信所借助于的媒 体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如， 在无线电-波和红外线数据通信期间产生的那些波)。

举例来说，常见形式的物理和/或有形计算机可读媒体包含软性磁盘、柔性磁盘、硬 盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有 孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪-EPROM、任何其它存储器 芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。

在将一或多个指令的一或多个序列携载到处理器1404以用于执行中可涉及各种形 式的计算机可读媒体。仅仅作为实例说明，最初可将指令携载于远程计算机的磁盘和/ 或光学光盘上。远程计算机可将指令载入到其动态存储器中，并经由传输媒体将指令作 为信号进行发送以由计算机系统1400接收及/或执行。根据本发明的各种实施例，可呈 电磁信号、声学信号、光信号和/或其类似者形式的这些信号皆为可在其上编码指令的载 波的实例。

通信子系统1412(和/或其组件)一股将接收信号，且总线1402可接着将信号(和/或由 信号携载的数据、指令等)携载到工作存储器1418，处理器1404从所述工作存储器检索 指令并执行指令。可任选地在由处理器1404执行指令之前或之后，将由工作存储器1418 接收的指令存储在非暂时性存储装置1406上。

上文所论述的方法、系统和装置为实例。各种实施例可在适当时省略、取代或添加 各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序的 次序来执行，及/或可添加、省略及/或组合各种阶段。并且，可在各种其它实施例中组 合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元素。并且，技 术演进，且因此许多元件为实例，其并不将本发明的范围限于那些特定实例。

在描述中给出特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节 的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示熟知电路、过程、 算法、结构及技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制 本发明的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员 提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下 对元件的功能及布置进行各种改变。

并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框 图可能将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可重新布 置操作的次序。过程可具有图中未包含的额外步骤。此外，可通过硬件、软件、固件、 中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中 间件或微码来实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体 等计算机可读媒体中。处理器可执行相关联任务。因此，在上述描述中，描述为由计算 机系统执行的功能或方法可由经配置以执行功能或方法的处理器(例如，处理器1404)来 执行。另外，此类功能或方法可由执行存储在一或多个计算机可读媒体上的指令的处理 器来执行。

上文所论述的方法、系统和装置为实例。各种实施例可在适当时省略、取代或添加 各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序的 次序来执行，及/或可添加、省略及/或组合各种阶段。并且，可在各种其它实施例中组 合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元素。并且，技 术演进，且因此许多元件为实例，其并不将本发明的范围限于那些特定实例。

在描述中给出特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节 的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示熟知电路、过程、 算法、结构及技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制 本发明的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员 提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下 对元件的功能及布置进行各种改变。

并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框 图可能将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可重新布 置操作的次序。过程可具有图中未包含的额外步骤。此外，可通过硬件、软件、固件、 中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中 间件或微码来实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体 等计算机可读媒体中。处理器可执行相关联任务。

已描述若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造及 等效物。举例来说，上述元件可仅为较大系统的组件，其中其它规则可优先于本发明的 应用或以其它方式修改本发明的应用。并且，可在考虑上述元件之前、期间或之后进行 数个步骤。因此，上述描述并不限制本发明的范围。

已描述各种实例。这些及其它实例在所附权利要求书的范围内。