人与人之间的姿势控制装置的传递控制

摘要

电视机（TV）包括显示器和控制所述显示器并且接收表示人姿势的信号的处理器。所述处理器被编程来对来自于第一观看者的姿势做出响应以控制显示器。此外，所述处理器被编程来仅仅响应于既确定第一观看者已经看向第二观看者，又作为与看向第二观看者分离的动作，确定第一观看者已经确认将TV的控制传送到第二观看者的愿望，对来自于第二观看者的姿势做出响应以控制显示器。

说明书

技术领域

本申请一般涉及用于诸如电视机（TV）之类的音频视频显示设 备（AVDD）的用户接口（UI）。

背景技术

当前电视机主要由观看者操作遥控装置（RC）控制。如这里理 解的，遥控装置可能被临时放错地方并且不理想于文本输入，此外仅 仅允许单个用户控制TV。还如这里理解的，观看者的姿势可以用作 附加的命令输入模式。但是，当多个观看者正在观看TV时，一个房 间中的多个人可能利用姿势控制TV。对于观看体验来说，每次仅仅 一个人处于控制状态以避免快速连续地输入冲突的命令是优选的。

发明内容

如这里理解的，此难题的极好的解决方案是接受来自于仅仅单个 人的姿势但是允许该人特别地将控制传递给该房间中的另一个观看 者。

因此，AVDD可以包括处理器和可以在处理器的控制之下呈现 需求的图像的视频显示器。在非限制的实施例中，AVDD还可以包括 承载处理器可运行的指令以从将AVDD的观看者成像的照相机接收 图像信号的计算机可读存储介质。响应于确定第一观看者已经启动了 姿势命令输入模式以控制AVDD，处理器对仅仅来自于第一观看者的 姿势做出响应以控制AVDD。响应于确定第一观看者已经看向第二观 看者，处理器确定第一观看者除了看向第二人以外是否已经做出语音 命令或身体姿势，以确认第一观看者想要将AVDD的控制传递到第二 人。因而，响应于确定第一观看者除了看向第二人以外已经做出确认 想要传送控制的语音命令或身体姿势，处理器将姿势控制传送到第二 人以使得处理器对仅仅来自于第二观看者的姿势命令做出响应。除了 看向第二观看者以外的身体姿势可以是第一观看者向第二观看者的 指点姿势。

在一些实施例中，处理器通过确定第一观看者的头已经转向第二 观看者来确定第一观看者已经看向第二观看者。在其它实施例中，处 理器通过确定第一观看者的瞳孔已经移向第二观看者来确定第一观 看者已经看向第二观看者。响应于确定第一观看者已经看向第二观看 者，处理器可以在显示器上叠加消息，所述消息提示第一观看者确认 第一观看者想要将AVDD的控制传递给第二观看者。

在另一个方面，电视机（TV）包括显示器和控制所述显示器并 且接收表示人姿势的信号的处理器。所述处理器被编程来对来自于第 一观看者的姿势做出响应以控制显示器。此外，所述处理器被编程来 仅仅响应于既确定第一观看者已经看向第二观看者，又确定第一观看 者已经确认将TV的控制传送到第二观看者的愿望（作为与看向第二 观看者分离的动作），对来自于第二观看者的姿势做出响应以控制显 示器。

在另一个方面，一种方法包括对音频视频显示设备（AVDD）的 第一和第二观看者成像。所述方法进一步包括基于第一观看者的姿势 命令控制AVDD。所述姿势命令是在第一观看者的自由空间中的姿 势。此外，所述方法包括仅仅响应于第一观看者的预定的第一姿势和 来自于第一观看者的确认命令来基于第二观看者的姿势命令控制 AVDD。

附图说明

本发明的细节，关于它的结构和操作，可以参考附图得到更好的 理解，其中相似的参考数字指代相似的部分，并且其中：

图1是根据本原理的非限制示例系统的框图；

图2是可以用来控制这里描述的图形用户接口（GUI）的示例遥 控装置（RC）的平面图，其示意地显示处理器和无线收发器；

图3是在适合于姿势控制的粗略模式中的九面板GUI的屏幕快 照；

图4是在适合于RC控制的精细模式中的九面板GUI的屏幕快 照；

图5是显示示例命令冲突解决逻辑的流程图；和

图6是显示示例姿势控制传递逻辑的流程图。

具体实施方式

开始参考图1所示的非限制示例实施例，系统10包括诸如TV 之类的音频视频显示设备（AVDD）12，包括与TV处理器18通信的 TV调谐器16，TV处理器18存取诸如基于盘的存储器或固态存储器 之类的有形的计算机可读存储介质20。AVDD12可以在一个或多个 扬声器22上输出音频。AVDD12可以使用与可以执行软件实现的浏 览器26的处理器12通信的内置有线或无线调制解调器24从互联网 接收流化的视频。视频在TV处理器18的控制之下在TV显示器28 上呈现，TV显示器28诸如高清晰度电视（HDTV）平板显示器，但 是不限于此，并且可以是触摸屏显示器。在一些实施方式中，除了下 面描述的姿势输入模式之外，到处理器18的用户命令可以使用例如 rf或红外线无线地从遥控装置（RC）30接收。可以使用除了TV以 外的音频视频显示设备，例如智能电话机、游戏控制台、个人数字组 织器、笔记本计算机和其它类型的计算机等等。

由与AVDD12通信的地面广播天线34接收的来自于一个或多 个地面TV广播源32的TV节目可以呈现在显示器28和扬声器22上。 地面广播节目可以符合数字ATSC标准并且可以在它之内传送地面广 播EPG，但是地面广播EPG可以从可替换的源接收，可替换的源例 如经由以太网的互联网、或线缆通信链路或卫星通信链路。

来自于有线TV头端36的TV节目也可以在用于在显示器28和 扬声器22上呈现TV信号的TV处接收。当仅仅期望基本线缆时，在 美国来自于墙壁的线缆通常传输QAM或NTSC格式的TV信号并且 被直接插入到TV机壳上的“F型连接器”38中，但是在其它国家用 于此目的的连接器可以变化。相反，当用户具有例如扩展的有线订制 时，来自于头端36的信号通常通过STB40发送，STB40可以与TV 机壳分开或者集成在TV机壳之内，但是在任何情况下，向TV发送 HDMI基带信号。可以使用其它类型的连接，例如MOCA、USB、1394 协议、DLNA。

类似地，从由与家庭卫星盘相关联的集成接收器/解码器（IRD） 44接收的TV广播信号的卫星源42发送的HDMI基带信号可以被输 入到AVDD12以用于在显示器28和扬声器22上呈现。此外，流化 的视频可以从互联网46接收以用于在显示器28和扬声器22上呈现。 流化的视频可以在计算机调制解调器24处接收或者它可以在AVDD 12外部的家庭内调制解调器48处接收并且通过有线或无线以太网链 路传送到AVDD12并且在TV机壳上的RJ45或802.11x天线处接收。

此外，在一些实施例中，可以被集成到机壳中的视频照相机50 （如果期望分开或分开安装，则与机壳电连接）可以连接到处理器16 以向处理器16提供正在看显示器28的观看者的视频图像。在一些非 限制实施例中，处理器16使用从照相机50接收的视频图像执行脸部 识别以识别特定的观看者、以识别观看者正在看的方向、以及以捕获 观看者姿势以用于向处理器16的命令输入。在非限制实施例中，处 理器16也在介质20上存储观看者的图像，以用于将来在与存储的图 像相比较时确定观看者是否被识别，或者最近接收的图像是否与新的 或非识别的观看者有关。如果期望的话，处理器16还创建简档和/或 将简档与用户和/或存储的用户的图像相关联并且将简档存储在介质 20上。在除了姿势命令输入模式之外，还预见语音命令输入模式的实 施例中，麦克风52也可以在机壳上提供或者与其分离并且可以电连 接到处理器16以向处理器16提供观看者生成的语音命令。

图2显示了，在预见使用遥控装置在一个命令输入模式下输入命 令的实施例中，示例RC30可以包括可以被拨动以激励和关断AVDD 12的开机键60。可以提供触敏垫62，用户可以靠着触敏垫62移动他 的手指以相应地移动显示器28上的屏幕光标。轻击垫62可以生成“选 择”信号，可以理解，除了使用触敏垫62以外，还可以使用点击装 置。

此外，可以提供向后键64以使得显示器28返回屏幕快照，即呈 现紧接在当生成向后信号时显示的屏幕快照之前的屏幕快照，以便使 得用户能够浏览这里示出的各个GUI。可以提供主菜单（home）键 66以使得下面描述的“主菜单”GUI呈现在显示器28上，并且可以 提供选项键68以使得用户能够将GUI选项的列表呈现在显示器28 上。可以使用音量高/低摇杆键70控制AVDD12的扬声器22输出的 音量。RC30上的键或垫62的操作使得相应的信号发送给RC30中 的RC处理器72，RC30使用无线收发器74将对应的命令发送到 AVDD12，无线收发器74诸如红外线收发器但是不限于此。此外， 如果期望的话，则可以在RC30上布置四个箭头键以在显示器28上 向上、向下、向左和向右移动光标。此外，可以提供频道上/下键以及 用于声音输入的麦克风。如果期望的话，可以提供全QWERTY键盘 或键区。可以为触摸垫62提供蜂鸣器或其它装置以向用户生成触觉 反馈。

为了例示目的，图3和4示出了可以在AVDD12的显示器28 上呈现的示例非限制的主菜单GUI。在图3所示的实施例中，九个信 息面板如图所示布置在三行中，每行三个面板，每个面板呈现视觉内 容。根据图3所示的实施例，GUI的左上面板76总是显示当前选择 的视频内容，通常或者是来自于选择的TV频道的电视广播的内容或 者是来自于选择的网站的流化的视频。与可用的视频内容有关的信息 呈现在其它八个面板中。此信息通常包括照片或其它图像、指示由面 板表示的内容的源的内容源标志、和通常描述内容的标题的文本和其 它信息。

如在78所示，可以紧挨着每个面板提供数字，以使得可以在屏 幕上将面板从一到九编号，如图所示。这便于用户通过说出与面板相 关联的数字来选择播放来自于该面板的视频内容。此外，如在80所 示，可以紧挨着每个面板呈现风格指示符。在第一面板76指示第一 面板76正在呈现当前选择的视频的情况下，风格指示符可以是箭头。 风格指示符可以是心形物（如图3对于面板2所示），其指示下层的 视频内容已被用户选择为“最喜爱的”。可以呈现其它风格指示符， 分别表示“历史”，意思是与面板相关联的内容先前已被呈现；“推 荐”，意思是与面板相关联的内容由AVDD处理器18执行的推荐引 擎推荐，等等，例如“频繁观看”、“促销内容”。用户可以选择呈 现与仅仅单个风格的内容相关联的面板。

另外，如果期望的话，图3所示的GUI可以呈现姿势提示82， 以文本和/或动画的手运动描述用户可以做出的姿势和它相关的命令， 其可以由照相机50捕获并且由执行图像识别软件的处理器18将其与 相应的命令相关联。因而，虽然观看者输入可以通过将显示器28制 作成观看者可以触摸从而输入命令的触敏式显示器来提供，但是本原 理预见使用自由空间中的观看者姿势，即观看者离开显示器28的姿 势，这通常是TV观看者的情况，其中观看者不触摸显示器，而是做 出由照相机50捕获并且由执行图像识别软件的处理器18将其与命令 相关联的姿势。

此外，选择的菜单可以如图所示沿着GUI的底部呈现，包括“仅 仅为你（just for you）”选择器84以使得GUI包含具有对识别的用 户个性化的内容的面板。可以选择搜索选择器86以使得执行对用户 输入的术语的搜索。此外，可以选择书签选择器88以将面板76中当 前播放的视频加书签或者以将面板中屏幕光标位于其上的内容加书 签。

仍然参考图3，如果选择的话，设置选择器元素90使得呈现设 置菜单以控制GUI的设置。可以呈现队列选择器元素92以使得排队 的节目的列表呈现在显示器28上，并且可以呈现输入选择器元素94， 输入选择器元素94的选择使得可用的输入源的列表，例如“盘播放 器、有线、卫星”，呈现在显示器28上。可以呈现推荐选择器元素 96，并且如果选择的话，使得推荐的节目的列表呈现在显示器28上。 列表可以由诸如索尼公司生产的“Navi”引擎之类的内容推荐引擎生 成。可以提供“上演什么”选择器元素98，并且如果选择的话，使得 诸如电子节目指南（EPG）之类的现在和将来节目的列表呈现在显示 器28上。实际上，EPG可以呈现在图3所示的面板的一个中。

在任何情况下，如上所述，在示出的示例中，当前选择的视频内 容总是呈现在GUI的左上面板76中。用户应当通过使用RC30或者 通过说出面板的数字或者通过由照相机50捕获的合适的姿势来选择 另一个面板，来自于与选择的面板相关联的源的视频内容自动替换在 接收新的选择信号之前呈现在左上面板76中的视频内容。实际上， 如果用户左右滚动面板以观看附加的内容，则左上面板76保持不移 动，而其它面板移入和移出显示器28，它们由先前隐藏的内容面板代 替，其中左上面板76总是显示当前选择的视频节目。

图3所示的面板布局有点粗略，因为许多像素宽度的可见的边界 空间100存在于相邻的面板之间，如图所示。这样的粗略的表示便于 使用姿势进行控制，但是通过利用语音和RC30的导航总是被优选使 能，不管GUI是否处于粗略还是精细视图。图4显示了，如果用户选 择精细的视图，则边界空间100消失在相邻的面板之间，虽然上面描 述了与姿势控制相比更适合于RC控制的视图，但是如果期望的话， 命令输入的所有三个模式（RC、语音和姿势）保持同时使能。

图3和4的两个视图之间的转变可以由合适的手姿势（例如，手 的垂直运动）或者由合适的语音命令（例如，“精细”或“粗略”）、 或者通过使用RC30从通过选择设置选择器元素90或通过按压RC 30上的键或通过简单地握住RC而访问的设置菜单中选择“精细”或 “粗略”来实现，握住RC由照相机50检测并且由处理器18推断以 与一个命令相互关联以移动到图4的“精细”屏幕。图4的精细模式 中的较大的面板可以用于呈现比在图3的面板中呈现的信息更多的信 息。

图3和4所示的GUI可以通过例如切换RC30上的主菜单键来 从呈现在完整显示器28上的屏幕和当前播放的视频中去掉。语音命 令输入可以通过说出诸如“你好，TV”之类的短语来使能，其通过麦 克风52并且使用语音识别软件来检测，由处理器18使其与命令相互 关联以使能语音命令。语音输入也可以使用RC30选择“搜索”选择 器元素86来使能。为了指示语音命令被使能，诸如麦克风102的图 像之类的图标可以在显示器28上呈现。姿势命令输入可以通过挥手 来使能，其通过照相机50并且使用图像识别软件检测，由处理器18 将其与命令相互关联以使能姿势命令。为了指示姿势命令被使能，诸 如手104的图像之类的图标可以在显示器28上呈现。当语音或姿势 命令不被使能时，图标102、104分别从显示器28中去掉。

实现相同的任务的对应的RC、语音和姿势命令的非限制示例是：

现在参考图5，示出了显示示例命令冲突解决逻辑的非限制流程 图。将要理解，在有些情况下，上面提到的AVDD12可以从不同的 输入方法在给定时间帧之内接收多个命令。例如，冲突的命令可能从 RC30并且从语音输入在彼此的“X”秒之内接收到。因此，本原理 认识到必须解决冲突的命令。

因而，在块106开始，该逻辑使得姿势命令能够由AVDD12检 测和/或接收。然后在块108，该逻辑接收姿势命令。移动到决定块110， 该逻辑然后确定于在块108接收的姿势命令和还在该姿势命令的X秒 之内（之前和之后）接收的RC命令之间是否存在命令的冲突。

如果该逻辑在块110确定存在命令的冲突，则该逻辑然后移动到 块112，其中该逻辑实现RC命令而不实现姿势命令。但是，如果该 逻辑在块110确定在姿势命令和RC命令之间不存在命令的冲突，则 该逻辑代之以移动到决定块114。在块114，该逻辑确定于在块108 接收的姿势命令和还在该姿势命令的X秒之内接收的语音命令之间 是否存在冲突。

如果该逻辑在块114确定存在命令的冲突，则该逻辑然后移动到 块116，其中该逻辑实现语音命令而不实现姿势命令。但是，如果该 逻辑在块114确定在姿势命令和语音命令之间不存在命令的冲突，则 该逻辑代之以移动到决定块118。在块118，该逻辑确定于在块108 接收的姿势命令和还在该第一姿势命令的X秒之内接收的另一个姿 势命令之间是否存在冲突。

如果该逻辑在块118确定不存在姿势命令的冲突，则该逻辑然后 移动到块120，其中该逻辑实现不冲突的姿势命令。但是，如果该逻 辑在块118确定存在姿势命令的冲突，则该逻辑代之以移动到决定块 122。在块122，该逻辑确定提供姿势命令的一个或多个用户是否根据 本原理被识别。

如果该逻辑在块122确定一个或多个用户不被识别，则该逻辑然 后移动到块124，其中该逻辑实现由AVDD12接收到的最新的姿势命 令。但是，如果该逻辑在块122确定至少一个用户被识别，则该逻辑 代之以移动到块126。在块126，该逻辑实现来自于被识别的用户的 最新的姿势命令。因而，该逻辑可以根据在块122做出的确定，在块 124或者块126做出结论。

现在参考图6，示出了显示控制逻辑的示例姿势命令传递的流程 图。在块128开始，该逻辑从照相机50接收观看AVDD12的观看者 的图像。在决定块130，处理器确定观看者是否已经激活根据上面阐 述的原理的姿势输入模式。如果没有，则该逻辑简单地保持在块128。 但是，如果使能姿势控制，则在图6所示的实施例中，该逻辑进行到 块132，以对来自于唯一的观看者（这里称为“激活的”观看者）的 任何姿势做出响应，并且不对来自于其它观看者的姿势做出响应。开 始，激活的观看者是在决定块130发起姿势输入模式的观看者。

如这里预期的，可以将控制从激活的观看者传递到另一个观看 者，该另一个观看者然后通过感测来自于激活的观看者的预定姿势、 伴随有确认来担任激活的观看者的角色。在图6所示的实施例中，预 定的姿势是，在决定块134，基于观看者的图像，处理器18确定激活 的观看者已经看向第二观看者。脸部识别原理可以用于通过分析当前 激活的观看者的脸部的图像以确定第一观看者的头已经转向第二观 看者，来确定第一观看者已经看向第二观看者，从而做出该确定。此 确定可以基于脸部特征从盯着AVDD到看向另一个成像的观看者的 变化。在其它实施例中，处理器通过确定第一观看者的瞳孔已经移向 第二观看者来确定第一观看者已经看向第二观看者。

在任何情况下，在一些实施例中，在决定块134的肯定的确定可 以使得逻辑流向决定块136以确定多个“第二”观看者是否彼此位于 足够近以使得不可能肯定地识别激活的观看者正在看向“第二”观看 者中的哪个。如果真的是这种情况，则该逻辑移动到块138以选择第 二观看者中的一个，并且优选地选择第二观看者中的仅仅一个，作为 待确认的潜在的新的激活的观看者，如下所述。此选择可以根据一个 或多个选择规则。在一个实施方式中，选择比其它第二观看者更接近 于激活的观看者的第二观看者。在另一个实施方式中，选择比其它第 二观看者更接近于AVDD的第二观看者。在另一实施方式中，选择在 激活的观看者已经注视第二观看者之后向激活的观看者回看的第二 观看者。

从块138或从决定块136，如果处理器可以识别房间中的哪个人 构成激活的观看者已经注视的第二观看者，则该逻辑移动到块140， 如果期望的话，提示激活的观看者确认激活的观看者想要将VADD的 姿势控制让与第二观看者。此提示可以是在显示器28上的视频上叠 加（或在扬声器上播放）一个短时间段的字母数字消息，指示激活的 观看者确认。例如，消息可以是“你想要让与控制吗？”如果第二观 看者被识别，则消息可以更明确：“你想要将控制让与Sam吗？”或 者，消息可以明确地指示观看者确认让与控制的愿望、说出诸如“完 成”之类的特定命令或做出诸如指向第二人或简单地点头之类的特定 姿势。

如果处理器在决定块142接收到确认，则该逻辑移动到块144 以使得第二观看者成为激活的观看者以用于姿势控制目的，循环回到 块132。如果没有接收到确认，优选地在超时时间段之内没有接收到 确认，则逻辑循环回到块132，其中激活的观看者不变。

本原理可以被用作虚拟对象在房间内传递的游戏。

虽然这里示出了并且详细描述了特定的“人与人之间的姿势控制 的装置的传递控制”，但是应当理解，由本发明涵盖的主题仅仅由权 利要求书限制。