用于改变设备行为的眼睛凝视

摘要

本发明提供用于控制电子设备的行为的方法、设备和计算机程序。方法包括用于在第一操作模式中操作电子设备的操作，以及用于跟踪与电子设备相连接的用户的凝视的操作。只要凝视指向预定目标，就将电子设备保持在第一操作模式中。在另一操作中，在没有检测到凝视指向预定目标时，在不同于第一操作模式的第二操作模式中操作电子设备。

说明书

相关申请案

技术领域

本发明涉及用于控制电子设备的行为的方法，更具体来说，涉及 用于基于一个或多个用户的凝视控制设备行为的方法和系统。

发明背景

电子设备在日常生活中变得越来越普遍。特征集保持增长，从而 为用户提供更多种类的功能和选项。随着选项的数量的增长，易用性 变得越来越重要，因为用户设法通过由电子设备提供的所有选项进行 选择和导航。有时，由于设备的当前的环境变量，一些选项甚至不可 用，但用户仍然可以使用菜单选项的复杂的树进行呈现。例如，全球 定位系统(GPS)设备中的选项允许用户在语音导航援助（汽车司机的 口头指示）或在位于靠近司机的显示器中显示的地图上的方向之间选 择。然而，夜间在弯曲的道路上驾驶的用户在跟随地图时可能遇到困 难，因为用户必须把注意力集中在前方道路上。

凝视检测的科学进展允许设备确定一个或多个用户是否目前在 查看特定的目标。为了提高电子设备的可用性和可配置性，需要更好 的用户界面来考虑设备的状态以及用户情况，以便产生直观的、易于 使用的界面，从而提高人与机器之间的互动。

本发明的实施方案正是在这种情况下产生的。

发明概要

本发明的实施方案提供用于基于用户凝视方向控制电子设备的 行为的方法和系统。应了解，本发明可以用多种方式来实施，例如， 在计算机可读介质上的过程、装置、系统、设备或方法。下文描述本 发明的几个发明实施方案。

在一个实施方案中，一种方法包括用于在第一操作模式中操作电 子设备的操作，以及用于跟踪与电子设备相连接的用户的凝视的操 作。只要凝视指向预定目标，就将电子设备保持在第一操作模式中。 在另一操作中，系统检测到凝视不指向预定目标。在检测到凝视不指 向预定目标之后，在不同于第一操作模式的第二操作模式中操作电子 设备。

在另一实施方案中，一种电子设备包括凝视检测模块和处理器。 凝视检测模块确定与电子设备相连接的用户的凝视是否指向预定目 标。处理器支持电子设备的不同的操作模式，操作模式包括第一操作 模式和第二操作模式。当用户的凝视指向预定目标时，处理器在第一 操作模式中操作，并且在凝视检测模块检测到用户的凝视不指向预定 目标之后，处理器在第二操作模式中操作。

在又一实施方案中，一种嵌入非暂态计算机可读存储介质中的计 算机程序包括程序指令，所述计算机程序在由一个或多个处理器执行 时用于控制电子设备的行为。包括在介质中的是用于在第一操作模式 中操作电子设备的程序指令，以及用于跟踪与电子设备相连接的用户 的凝视的程序指令。此外，介质也包括用于只要凝视指向预定目标， 就将电子设备保持在第一操作模式中的程序指令，以及用于检测到凝 视不指向预定目标的程序指令。额外的程序指令在检测到凝视不指向 预定目标之后，使电子设备能够在不同于第一操作模式的第二操作模 式中操作。

通过结合附图的以下详细描述，本发明的其他方面将变得显而易 见，这些附图通过实例说明本发明的原理。

附图简述

通过参考结合附图的以下描述，可以最好地理解本发明，其中：

图1A至图1C图示根据一个实施方案的基于用户的凝视改变操 作模式的导航系统。

图2A和图2B图示根据一个实施方案的使用凝视检测的防撞系 统。

图3图示具有多个凝视检测单元的凝视检测系统的实施方案。

图4A和图4B示出根据一个实施方案的在用户从显示器往别处 看时激活的录像机。

图5A和图5B描绘根据一个实施方案的根据孩子的凝视改变行 为的玩具。

图6A和图6B图示根据用户在电话上的凝视改变行为的移动电 话的实施方案。

图7A和图7B图示根据一个实施方案的根据用户凝视改变的画 中画显示器的行为。

图8描绘根据一个实施方案的在手表检测到用户的凝视时发出 亮光的手表。

图9图示根据一个实施方案的基于用户的凝视而增强显示区域 的可见度的设备。

图10A和图10B图示根据一个实施方案的基于用户凝视的屏幕 保护程序的操作。

图11A和图11B图示根据一个实施方案的响应于几个用户的凝 视方向的系统。

图12描绘根据一个实施方案的凝视检测系统的体系结构。

图13描绘在凝视目标位于电子设备外部时的凝视检测系统的另 一实施方案。

图14A示出根据本发明的一个实施方案的用于控制电子设备的 行为和用于生成报警的算法的流程。

图14B示出根据本发明的一个实施方案的用于控制电子设备的 行为和用于生成报警的替代算法的流程。

图15A至图15C图示本发明的实施方案的不同的状态图。

图16为根据本发明的一个实施方案的用于控制电子设备的行为 的过程流程图。

图17为用于实施本发明的实施方案的计算机系统的简化示意 图。

具体实施方式

以下实施方案描述用于利用用户凝视信息控制电子设备的行为 的方法、计算机程序和装置。然而，本领域技术人员将显而易见，可 以在没有一些或所有的这些具体细节的情况下实践本发明。在其他情 况下，没有详细描述众所周知的过程操作，以避免不必要地使本发明 模糊不清。

图1A至图1C图示根据一个实施方案的基于用户的凝视改变操 作模式的导航系统。用户的凝视为用户的注意力或意图的良好的指 示。使用眼睛凝视信息作为输入会使计算机系统能够获得关于用户的 任务的上下文信息，又可以利用上下文信息来设计更直观和智能的界 面。随着眼睛凝视跟踪系统准确性的提高和成本的降低，眼睛凝视跟 踪可以用于大范围的应用中。

眼睛跟踪或眼睛凝视跟踪为测量凝视点（“用户看的地方”）或眼 球相对于头的运动的过程。眼球跟踪器为用于测量眼睛位置和眼球运 动的设备。存在用于测量眼球运动和凝视方向的许多方法。一些方法 使用提取眼睛位置的视频图像，并且其他方法使用搜索线圈或基于眼 电图。在另一方法中，使用具有红外摄像机或检测器或与红外摄像机 或检测器通信的设备发射红外光。红外光从用户的视网膜被反射回到 红外摄像机或检测器上。反射回来的红外光的量是基于人朝向发射器 的凝视。一旦在摄像机或检测器上接收的红外光在一段时间内达到特 定阈值，就确定用户在设备上的凝视。凝视的小失误被认为是眨眼并 且被忽视。

通过使用眼睛凝视检测，设备（例如，便携式娱乐设备、车载导 航系统、孩子的玩具、TV等）可以基于从用户接收多少注意力而改 变其行为。在一些实施方案中，设备只需要知道用户是否在查看设备， 但是设备不需要知道用户凝视的精确方向。在其他实施方案中，用户 凝视的精确方向被认为控制设备的行为。本发明的实施方案使消费电 子设备能够利用凝视检测，并且基于被电子设备接收的注意力而定制 功能性。通过利用凝视检测，设备可以提供更直观的互动和改进的用 户体验。

在图1A中所示的实施方案中，凝视检测系统用于确定司机102 是否在看显示器108，显示器108包括汽车导航系统。凝视检测系统 包括俘获司机102的眼睛104的视频的摄像机106。包括摄像机106 和显示器108的凝视检测系统确定司机102的凝视是否指向显示器。 系统根据凝视改变行为，即，在凝视指向显示器时，汽车导航系统显 示地图以帮助司机到达目的地，并且在凝视不指向显示器时，汽车导 航系统向用户提供听觉方向。

图1B图示包括在用户看显示器时显示地图120的操作模式。图 1B的实例示出汽车在地图中的位置以及司机进行下一个转弯的指示 箭头。显示器上的额外的信息可以包括到下一个路口的距离、到目的 地的距离、街名等。

图1C图示在司机不看地图（例如，司机在看前方道路）时的操 作模式。扬声器132将口头提示传递到司机，例如，“在50米左转”、 “在下一个路口右转”、“在接下来的10英里的17号公路上开车”等。 显示器130可以变暗或被关闭，或可以将口头提示表现为视觉提示。 视觉提示不是必需的（显示器上的视觉提示可以供汽车中的其他人使 用）。在另一实施方案中，在显示器上总是显示地图，并且只在用户 的凝视不在显示器上时提供口头提示。

行为的改变可以用于各种设备和情况中。例如，在凝视消失时， 电视可以暂停正在显示的节目（电视系统连接到数字录像机）。下文 参照图2A至图11B给出基于用户凝视改变行为的设备的其他实例。

图2A和图2B图示根据一个实施方案的使用凝视检测的防撞系 统。根据用户是否注意设备或情况，用户界面改变形态。例如，在图 2A中所示的情况下，当汽车近程检测器检测到汽车204在汽车202 前面突然减速时发生潜在的报警情况。如果用户206正在向前看（如 凝视检测器所检测，例如，在图1A中所示的凝视检测器），那么不 生成报警，这是因为用户已经在看前面的汽车。然而，如果用户206 不在向前看（如图2B中所示），那么汽车近程检测器将生成报警， 报警可以为声音报警、可视报警或两者。在另一实施方案中，定义危 险的阈值以确定何时即将发生碰撞，并且在即将发生碰撞时，不管用 户206是否在向前看都生成报警。基于一个或多个因素，例如，汽车 间的距离、汽车的速度、汽车的相对速度、用户的平均响应时间、指 示用户希望何时接收报警的配置参数等，计算阈值条件。

在另一实施方案中，当用户在变换车道并且用户不在看接近进行 车道变换的目的地车道中的汽车时，生成报警条件。如果用户在看可 以看到另一汽车的反光镜，或如果用户已经在第二汽车的方向上掉 头，那么避免报警。可能需要一个以上的凝视检测器来检测用户是否 在看反光镜或汽车的旁边。

图3图示具有多个凝视检测单元的凝视检测系统的实施方案。图 3的汽车包括几个凝视检测单元302a-302f。每个凝视检测单元检测用 户是否在看那个凝视检测单元的对应的目标。来自所有凝视检测单元 的信息被组合以定义网格304。基于来自凝视检测单元302a-302f的 信息，计算用户在看的近似点或区域的网格坐标。

此外，定义不同的目标区域A1-A6(306a-306f)以便确定何时生成 报警。根据情况利用一个或多个特定目标区域。例如，如果用户变换 到右边的车道并且汽车在右边的车道中，那么碰撞检测系统将在用户 不在看目标区域A4306e时生成报警，并且将在用户在看目标区域 A4306e时不生成报警。在与图2A和图2B中所示的情况相同的情况 下，当存在与前面的汽车的潜在碰撞时，如果用户在看目标A3306d， 那么将生成报警。图2A的单个凝视检测器可能已经检测到用户在向 前看，但是单个凝视检测器可能尚未检测到用户在朝旁边(A3)看去， 因为用户可能在看路标、下一个车道上的汽车、商业标语、行人等。 因此，通过具有多个凝视检测器增加的额外的解决方式会提高确定危 险情况的能力。此外，增加的解决方式可能会限制生成的报警的数量， 因为对用户指导其视线的地方有更好的理解。

图4A和图4B示出根据一个实施方案的在用户从显示器往别处 看时激活的录像机。如图4A中所示，用户402在显示器404上观看 电视节目。凝视检测系统使用针对用户的摄像机406来检测用户何时 朝显示器看或从显示器往别处看。当凝视检测系统确定用户402在看 显示器404时，数字录像机(DVR)408不记录电视节目。然而，当用 户402从显示器402往别处看时，如图4B中所示，凝视检测系统采 取行动。

在一个实施方案中，DVR408开始记录节目（打开的灯410指示 DVR在记录），因此用户可以在后来的时间观看节目。在另一实施方 案中，DVR记录节目并且节目被暂停直到用户向显示器404扭转其 凝视。当DVR的记录容量被限制时，只在用户看别处时记录的能力 是有用的。

相同的原理可以用于使用显示器的其他应用，例如，在用户看别 处时暂停视频游戏、暂停串流互联网视频、暂停在播放电影的DVR、 暂停计算机游戏或某一其他软件应用程序等。

在又一实施方案中，电视机在电视上没有检测到凝视时减小音 量，并且在检测到凝视时增加音量。在另一实施方案中，凝视检测确 定记录的质量。例如，当用户在看显示器时，以低质量进行记录，因 为假定用户将不会再次观看节目。然而，如果用户看别处，那么记录 切换到高分辨率模式，因为系统假定用户将在未来的时间观看其错过 的这个节目的一部分。

如果在房间里有几个观看者，那么一个实施方案确定任何用户是 否在采取行动（例如，开始记录或暂停节目）之前看显示器。在另一 实施方案中，测试应用程序或基于网络的课堂使用凝视检测来确定用 户何时注意。如果用户不注意，那么可以向教师显示标志，或软件应 用程序将不提供予以注意的用户信用。

图5A和图5B描绘根据一个实施方案的根据孩子的凝视改变行 为的玩具。图5A示出同玩具504一起玩的孩子502，玩具504包括 凝视检测系统。当玩具504检测到孩子的凝视被设置在玩具上时，玩 具504通过发出声音、产生口头消息、走来走去、使灯闪烁等与孩子 502互动。

当孩子502不在看玩具504时，如图5B中所示，玩具504通过 设法引诱孩子同玩具一起玩，最终在预定时段后通过关闭而作出响 应。例如，玩具可以发出口头消息（“同我一起玩”），或使一些灯闪 烁、鸣汽笛、更接近孩子等。因此，玩具的行为根据孩子的凝视改变。

图6A和图6B图示根据用户在电话上的凝视改变行为的移动电 话的实施方案。如图6A中所示，移动电话604包括用于获得语音邮 件、视觉模式和听觉模式的至少两种行为模式。移动电话604具有包 括面向用户的摄像机的凝视检测系统，并且语音邮件应用程序的行为 根据用户602的凝视改变。当用户602在看移动电话604（图6A） 时，移动电话使用视觉语音邮件界面操作，视觉语音邮件界面包括语 音邮件、命令按钮（播放、倒带、重播、保存、下一项等）、接收的 数据语音邮件等的一个或多个列表。

当用户602从移动电话604往别处看时，语音邮件应用程序切换 到听觉语音邮件模式，如图6B中所示。听觉语音邮件模式向用户602 提供提示以通过不同的选项指导用户602。用户反过来向移动电话 604提供语音命令以选择所需的选项。在一个实施方案中，用户可以 提供其他类型的输入，例如，按下按钮、触摸触摸屏等。例如，用户 602可以被提供选择列表以说对应于选项的数字，并且用户通过说对 应的数字来选择一个选项。

在另一实施方案中，用户的凝视改变电子设备的功率消耗模式。 例如，当用户从设备往别处看时，设备可以进入省电模式以减少供应 到输入设备（例如，按钮、触控面板、摄像机等）的功率量。

图7A和图7B图示根据一个实施方案的根据用户凝视改变的画 中画(PIP)显示器的行为。显示器702包括凝视检测系统，其不仅能够 检测到用户是否在看显示器702，而且能够检测到用户是否在看显示 器702的特定部分。图7A示出显示器702，其在显示器的主要部分 中呈现第一视频704a，并且在显示器内的画中画中呈现第二视频 704b，其被称为画中画窗口。

当凝视检测系统确定用户在超过阈值的时间量内在画中画窗口 中看视频704b时，凝视检测系统切换第一视频和第二视频的放映。 如图7B中所示，在画中画窗口中显示第一视频704a并且在显示器 702的主要区域中显示第二视频704b。

图7A和图7B图示在不需要用户输入并且不向用户产生操作模 式正在改变的通知（例如，报警）的情况下，显示器的操作模式如何 改变。在不需要超出改变凝视方向的用户的行动或输入的情况下，凝 视系统触发电子设备的操作模式的改变。因此，操作模式的改变独立 于用户行动。在另一实例中，计算机程序检测用户的凝视是否在网页 上显示的几个广告中的一个上保持一段时间（例如，2秒）。当用户 的凝视保持在广告上时，那么计算机程序执行与广告有关的行动，例 如，打开相关网页、运行动画、增加广告的大小以向用户提供额外的 信息等。

在一个实施方案，将指示操作模式被改变的通知提供给用户，但 是不需要用户允许改变操作模式。例如，在显示器上显示指示视频被 切换（例如，“将节目切换为画中画节目”）的简短消息。然而，用户 仍然不产生有源输入（当然，超出改变凝视）以命令电视切换节目。

在又一实施方案中，凝视检测与用户输入相结合。一旦凝视检测 系统确定用户的凝视已经改变，用户就被提示输入以确定电子设备是 否将改变操作模式。例如，当凝视检测系统检测到用户的凝视在画中 画显示器上时，电视询问用户是否允许切换节目（例如，“你想用PIP 切换吗？按1切换，按2取消”）。在上文关于网页广告所述的实例中， 计算机程序询问用户其是否想要广告产品或服务的额外的信息，而不 是自动地提供额外的信息。如果用户接受建议，那么提供额外的信息。

图8描绘根据一个实施方案的在手表检测到用户的凝视时发出 亮光的手表。手表802具有凝视检测系统，并且在凝视检测系统检测 到用户在看手表时，那么手表提高手表的可见度。例如，手表可以打 开使手表发亮的灯，或增加显示器的功率量以使显示器更亮、打开发 光机构、打开显示器等。

因为只在用户看手表时增强可见度，所以手表节省电力。图8中 的实施方案为示例性的而不意味着限制性。相同的原理可以用于其他 设备，例如，电视机、电视遥控器、游戏机、游戏控制器、键盘、报 警控制面板、电子图书阅读器、汽车仪表板的仪表等。设备可以改变 功率模式消耗，例如，在检测到凝视在设备上时，从待命模式唤醒电 视或电话。

在另一实施方案中，功率消耗也考虑与凝视检测的状态结合的其 他参数。例如，如果系统检测到这是白天并且自然光可以充分照明仪 表板，那么当用户在看仪表时，汽车仪表板上的仪表可能不会增加发 射的光。

图9图示根据一个实施方案的基于用户的凝视而增强显示区域 的可见度的设备。大的显示器被分为单独的区域，每个区域显示不同 的视频。在图9的实例中，显示器被分为四个区域902a-902d。当凝 视检测系统确定用户在看一个区域（例如，区域902a）时，系统改 变被观看的视频的属性。在其他实施方案中，具有被显示视频的不被 观看的区域也可以改变属性。例如，当系统检测到用户在看区域902a 时，系统通过提高分辨率（例如，减少视频压缩）、向区域902a提供 更高资源带宽，或向观看的区域添加资源来提高区域902a中显示的 视频的质量。可以向区域902a的视频添加更多中央处理单元(CPU) 资源以提高视频渲染，或将更高的功率提供给区域902a的显示元件 （例如，LED）。可以在较低的分辨率但足够好的分辨率下显示其余 的区域，因此用户可以改变对另一区域的关注并且观看显示的内容。

例如，在一个分辨率下显示被观看的区域并且在不同的分辨率下 显示不被观看的区域。在一个实施方案中，例如，在第二用户观看与 第一用户观看的区域不同的区域时，系统可以跟踪一个以上的用户。 在这种情况下，也用较高分辨率显示第二用户观看的区域。在另一实 施方案中，在凝视检测系统确定用户在看一个区域（例如，区域902a） 时，系统播放与在用户观察的区域中播放的视频相关联的音频。因此， 来自没有被观察到的区域（902b、902d和902c）的音频将为静音。 如果用户将凝视变成另一区域（例如，区域902b），那么来自先前的 区域（例如，902a）的音频将为静音，并且将播放与新的区域（例如， 902b）相关联的音频。

在又一实施方案中，将指示使用凝视选择哪个区域的视觉提示提 供给用户。例如，可以在选定区域上显示图标，用具有预定义的图案 或颜色的边框给选定区域加框，在紧邻选定区域的显示器的框架中打 开灯（例如，LED）等。

图10A和图10B图示根据一个实施方案的基于用户凝视的屏幕 保护程序的操作。屏幕保护程序为一种类型的计算机程序，其最初被 设计成在计算机不在使用时防止计算机监视器上的老化，这老化会产 生黑屏或用活动图像填充屏幕。通常，在输入设备（例如，键盘和鼠 标）不活动的时段后启动屏幕保护程序。在从操作系统接收指示已移 动鼠标或按下键的消息后，屏幕保护程序结束。

在用户152读取显示器156上的文件时，用户可能需要很长的时 间读取相同的页面。如果用户超过屏幕保护程序非活动时间触发，那 么屏幕保护程序158将开始执行（如图10B中所示）并且用户不能 够继续读取。然而，并入计算机的凝视检测154系统增强屏幕保护程 序的行为。

当用户的凝视在显示器上时，计算机中的凝视检测系统阻止计算 机系统启动屏幕保护程序。如果用户的凝视不在显示器上，那么一旦 没有检测到计算机上的凝视，计算机就启动屏幕保护程序。在另一实 施方案中，一在显示器上没有检测到凝视，计算机就启动非活动计时 器，并且在计时器期满时启动屏幕保护程序。如果在屏幕保护程序正 执行时用户使其凝视返回到显示器，那么屏幕保护程序结束。如果屏 幕保护程序不在执行，那么重置非活动计时器。

用于控制屏幕保护程序的凝视检测也可以用于包括显示器的其 他设备，例如，图书阅读器、平板计算机、移动电话、视频游戏播放 器等。

图11A和图11B图示根据一个实施方案的响应于几个用户的凝 视方向的系统。图11A和图11B的实施方案包括跟踪一个以上的观 看者的凝视的凝视检测系统。在酒吧的多个观看者162观看显示不同 的视频或节目164a-164e的屏幕，其中每个视频和节目可以被切换以 显示在不同的屏幕中。存在比其他屏幕更大的放映节目164c的中央 屏幕，并且系统意图在中央屏幕上显示最受欢迎的节目。为了确定最 受欢迎的节目，凝视检测系统确定观看者162在观看哪些节目。具有 大多数观看者的节目被确定为最受欢迎的节目。

在图11A的实施方案中，节目164b在观看者中最受欢迎，因为 有三个观看者在观看节目164b，并且所有其他节目具有少于三个的 观看者。由于屏幕164b上的节目最受欢迎，故系统切换节目164c和 164b，以使得在中央屏幕上显示节目164b，如图11B中所示。例如， 在酒吧正在观看一些体育赛事。在某个时刻，在小屏幕中呈现的一个 比赛中射门得分，这导致许多顾客将注意力转向射门得分的比赛。凝 视检测系统检测到射门得分的这个节目为最受欢迎的节目，然后系统 将受欢迎的节目切换到中央屏幕。

在一个实施方案中，在特定时间量内不被任何观看者观看的屏幕 并非通过用其他屏幕切换，而是通过改变馈送电视节目（例如，通过 改变电视频道）来改变放映的视频或节目。

在另一实施方案中，在观看者正在观看的节目上收集的数据与来 自其他位置的数据相结合，以获得一大群人的数据。结合的数据用于 几个目的，例如，评估一大群人的观看模式、确定广告的受欢迎度、 计算节目收视率等。这个聚合数据也可以用于营销的目的，例如，通 过实时列出节目的受欢迎度、列出最受欢迎的节目、调整广告价格以 使得公司在受欢迎的节目中支付更多的广告等。

在一个实施方案中，系统建立动态频道，其在给定时间显示最受 欢迎的节目，或从用户配置的频道列表中显示最受欢迎的节目。例如， 用户可能选择两种不同的体育赛事，并且放映的节目将根据体育赛事 的动态计算的受欢迎度而变化。在体育赛事中发生精彩赛事（例如， 得分、罚球等）时，受欢迎度改变。

在另一实施方案中，使用关于基于凝视的观看者的视频选择的收 集的数据，以确定节目片段的受欢迎度。因此，未来的观看者可以获 取指示哪些节目片段获得较高收视率的收视率信息，其中每个片段被 提供个别收视率，而不受节目的其他片段的收视率影响。建立串流内 容的收视率，由此并非只是通过唯一的节目收视率评定节目，而是基 于凝视投票在每个片段（例如，小时、分钟、秒、章、局、半场、四 分之一场、集、比赛等）评定节目。

在另一实施方案中，当在显示器上没有检测到凝视时，电子设备 重定向CPU资源离开图形用户界面(GUI)任务的处理到其他任务。当 凝视返回到显示器时，GUI处理接收额外的CPU资源以确保GUI响 应于用户。在又一实施方案中，当报警时钟在持续一段时间内检测到 凝视时，报警时钟被关闭或设置为贪睡。

图12描绘根据一个实施方案的凝视检测系统的体系结构。设备 254包括凝视检测系统，其包括至少凝视引擎262、行动引擎268和 报警引擎276。在任何时刻，凝视检测系统确定用户252是否具有其 在凝视目标256上的凝视286。凝视目标可以为完整的设备或设备的 一部分，例如，视频显示器。在下文参照图13描述的另一实施方案 中，凝视目标不位于设备上。

凝视引擎262包括凝视检测模块264和凝视历史数据库266。凝 视检测模块264确定用户252的凝视是否在凝视目标256上。在一个 实施方案中，凝视检测模块264包括面向用户252的摄像机以及分析 用户252的眼睛的凝视检测软件。然而，其他凝视检测系统也是可能 的。本领域技术人员将了解，图12的实施方案为示例性的而不意味 着限制性。在一个实施方案中，将凝视状态（停留或离开）的历史保 持在数据库266中。凝视历史可以用于考虑凝视历史的实施方案中， 例如，上文参照图10A和图10B所述的屏幕保护程序。

行动引擎268包括行动处理器272、历史数据库270和规则引擎 274。行动处理器272获得与凝视信息有关的输入，并且响应于用户 的凝视状态而确定采取哪个行动。行动处理器272的输入包括来自凝 视检测264的凝视状态、设备状态260、用户界面258等。行动处理 器272也与报警引擎276相连接以命令报警引擎276生成报警，或启 动设备将执行的某一其他行动。历史数据库270包括行动处理器272 所采取的不同行动的历史，例如，报警事件的日志。

行动处理器272使用逻辑规则来确定要生成的行动。规则被存储 在规则引擎数据库274中并且由用户或在设备内部和外部的其他程 序可配置。在一个实施方案中，服务器284通过网络282与设备254 相连接以配置行动引擎268。例如，一个规则可以为“在用户的汽车 相距与前面的汽车碰撞小于1秒，并且用户的凝视不指向汽车的前面 时，生成两秒响亮的嘟嘟声”。另一规则可以为“在导航系统中，在 用户不看显示器时使用口头指示，并且在用户看显示器时使用地图导 航”。

报警引擎276包括报警处理器278和报警界面280。报警处理器 从行动处理器272接收命令并且将命令转化成设备中的特定行动，通 过报警界面280传达这些行动。设备254的设备状态260包括与设备 的状态相关联的参数值，更具体来说，与凝视检测和与其相关联的行 动有关的参数值。报警界面280可以改变设备状态260（例如，使显 示器变暗）并且设备状态参数也可用于行动处理器272。用户界面258 将一个或多个界面提供给设备254中的不同元件，例如，显示器、键 盘、鼠标、汽车仪表、摄像机、扬声器等。

图13描绘在凝视目标位于电子设备外部时的凝视检测系统的另 一实施方案。凝视目标352不是与用户相连接的设备的部分。在一个 实施方案中，汽车碰撞检测系统不检查用户是否在看碰撞检测系统， 而是在用户危险地接近前面的汽车时检查用户是否在看前面的汽车。 因此，凝视目标不在凝视检测系统中或包括凝视检测系统的设备中。

一般来说，跟踪第一环境参数（例如，前面的汽车、可用带宽） 的状态，分析以了解是否发生需要响应的情况（例如，水溢出来、前 面的汽车坏掉了），并且基于一个或多个用户的凝视状态进行确定。

在又一实施方案中，凝视引擎位于设备外部并且与设备相连接。 凝视目标在凝视引擎和设备外部。三个组件（凝视引擎、凝视目标和 设备）相互连接以检测凝视并且具有对用户凝视的设备反应。

应注意，图12和图13中所示的实施方案为示例性的。其他实施 方案可以利用不同的模块，或一些模块可能不存在。因此，本文中所 示的实施方案不应该被解释为排他性或限制性的，而是示例性或说明 性的。

图14A示出根据本发明的一个实施方案的用于控制电子设备的 行为和用于生成报警的算法的流程。在操作1402中，开始凝视检查， 并且在操作1404中，确定状态参数的值。状态参数定义设备的状态 或与设备有关的环境中的一些条件的状态。在操作1404之后，方法 进入操作1406以基于状态变量的值检查可操作条件的存在。在操作 1408中，检查的结果确定在存在可操作条件时方法是否进入操作 1410，或在不存在可操作条件时方法是否进入操作1420。在操作1420 中，在必要时，方法等待一段时间。在一个实施方案中，等待时段是 零，而在另一实施方案中，方法在返回到操作1404并且如上所述重 复之前等待一段时间（例如，100ms、1秒、1分钟等）。

在操作1410中，检查凝视状态，并且在操作1412中，方法操作 基于状态变量的值和凝视状态确定采取行动是否是必需的。例如，如 果凝视状态为“司机不向前看”并且状态变量指示将在2秒内发生与 前面汽车的碰撞，那么进行确定以警告用户。

在操作1414中，检查以确定行动是否是必需的，并且如果行动 是必需的，那么方法流向操作1416，其中激活报警。如果行动不是 必需的，那么方法回到操作1420。在操作1416之后，方法进入操作 1418以等待直到清除报警条件。例如，在检测到司机向前看时或在 清除潜在的碰撞条件时，可以清除报警条件。

图14B示出根据本发明的一个实施方案的用于控制电子设备的 行为和用于生成报警的替代算法的流程。在图14B的实施方案中， 不连续检查凝视，并且只在检测到可操作条件时检查凝视。

因此，在操作中，在操作1404中，确定状态参数的值，并且方 法进入操作1406以基于状态变量的值检查可操作条件的存在。在操 作1408中，检查的结果确定在存在可操作条件时方法是否进入操作 1402，或在不存在可操作条件时方法是否进入操作1420。在操作1420 中，在必要时，方法等待一段时间。在一个实施方案中，等待时段是 零，而在另一实施方案中，方法在返回到操作1404并且如上所述重 复之前等待一段时间（例如，100ms、1秒、1分钟等）。

在操作1402中，开始凝视检查，并且方法进入操作1410，其中 检查凝视状态。在操作1412中，方法操作基于状态变量的值和凝视 状态确定采取行动是否是必需的。

在操作1414中，检查以确定行动是否是必需的，并且如果行动 是必需的，那么方法流向操作1416，其中激活报警。如果行动不是 必需的，那么方法回到操作1420。在操作1416之后，方法进入操作 1418以等待直到清除报警条件。例如，在检测到司机向前看时或在 清除潜在的碰撞条件时，可以清除报警条件。

图15A至图15C图示本发明的实施方案的不同的状态图。图15A 示出基于用户凝视的状态改变行为的凝视检测应用的状态图。在状态 552中，用户的凝视离开仪表板显示器。汽车的仪表板上的显示器变 暗，并且导航系统向用户提供口头的每个路口指引。

在状态554中，用户的凝视在显示器上。因此，仪表板显示器以 高强度打开，并且将驾驶方向提供在仪表板显示器中的地图上。“凝 视停留”在本文中被称为将用户的凝视设置在凝视检测系统的目标上 的条件，并且“凝视离开”为不将用户的凝视设置在凝视检测系统的 目标上的条件。

凝视状态的改变可以触发状态552与状态554之间的转变。当状 态机处于状态552并且凝视状态改变成停留状态时，状态机从状态 552转变到状态554，并且当状态机处于状态554并且凝视状态改变 成离开状态时，状态机从状态554转变到状态552。

图15B提供与凝视检测互动的玩具的状态机。状态机包括三种 状态：玩具打开的状态556、玩具关闭的状态560，以及玩具向用户 提供口头提示并且吸引其注意力（参见上文针对互动玩具所述的实 例）的状态558。

在处于状态556时，如果凝视状态切换到离开状态，那么状态机 转变到状态558。在处于状态558时，如果凝视状态变回到“停留”， 那么状态机返回到状态556。然而，在处于状态558时，如果在阈值 时段内没有检测到孩子的凝视，那么状态机转变到状态560，其中玩 具是关闭的。最后，在玩具打开时，将发生从状态560转变到状态 556。

应注意，图15A至图15C中所示的实施方案为示例性的。状态 图为可能包括更多状态以执行各种功能的状态图的简化形式，其中至 少一个功能是基于凝视检测状态。其他实施方案可以将凝视与其他参 数结合以确定设备的状态，或确定状态转变。因此，本文中所示的实 施方案不应该被解释为排他性或限制性的，而是示例性或说明性的。

图15C提供使用凝视检测的碰撞检测应用的状态图。在状态578 中，司机在驾驶并且不存在报警条件。状态580和状态572为报警状 态，即，事件引起系统估计可能的报警条件以将其提供给司机的状态。 状态582和状态574为将报警提供给用户的状态，并且状态576为系 统检测到司机左转的状态。如前面所述，状态图为简化图。状态机的 另一实施方案可以包括其他状态，例如，右转、后退等。

在处于状态578时，如果检测到可能的碰撞，那么状态机转变到 状态580。在汽车接近前面的汽车，但司机仍然有足够的时间来对碰 撞作出反应和避免碰撞时，检测到可能的碰撞。然而，在处于状态 578时，如果即将发生碰撞，那么状态机转变到状态582，其中向用 户报警。由于向司机报警的危急程度，故即使司机向前看也进行转变， 而不受凝视状态影响，这是因为司机可能注意力分散、看路标等

存在从状态580的两种可能的转变：如果凝视状态为“离开”， 那么状态机转变到状态582，并且如果凝视状态为“停留”，那么状 态机转变到状态578，因为系统假定司机知道条件并且不需要报警。 以此方式，当用户已经在可以避免碰撞的情况下时，系统避免产生过 多的报警。

当检测到前方可能碰撞状态结束时，状态机从状态582变回到状 态578。当与前面的汽车的距离增加时，或当检测到碰撞以使报警变 得多余时，发生这种情况。

在图15C的左侧，状态机包括在左转时与碰撞检测有关的状态。 因此，在系统检测到汽车左转时，发生从状态578到状态576的状态 转变。因为司机向另一街道左转，或因为司机将车道变换到左边的车 道，所以可能发生左转。在处于状态576时，如果系统检测到汽车向 前行进，那么状态机变回到驾驶状态578。在处于状态576时，状态 机也可以转变到状态572或状态574。当在左边检测到可能的碰撞时， 转变到状态572。例如，这可能在左车道上有汽车时，或在将引起碰 撞的相反方向上有前进的交通时。在系统检测到即将发生左边的碰撞 时，从状态576转变到状态574。

在系统检测到司机的凝视停留在左边的车辆上时，状态机从状态 572转变到状态576，并且在司机的盲点上检测到车辆时或在司机的 凝视不指向左边时，转变到状态574。在确定左边的碰撞的可能性结 束时，状态机从状态574转变到状态576。

图16为根据本发明的一个实施方案的用于控制电子设备的行为 的过程流程图。在操作1602中，在第一操作模式中操作电子设备。 此外，在操作1604中，跟踪与电子设备相连接的用户的凝视。方法 从操作1604进入操作1606，其中只要用户的凝视指向预定目标，电 子设备就保持第一操作模式。

在操作1608中，检查以确定用户的凝视是否指向预定目标。如 果凝视朝向预定目标，那么方法回到操作1606，并且如果凝视不指 向预定目标，那么方法进入操作1610。在操作1610中，在不同于第 一操作模式的第二操作模式中操作电子设备。因此，在用户的凝视从 预定目标离开时，电子设备变成不同的操作模式。

图17为用于实施本发明的实施方案的示例性计算机系统的简化 示意图。应了解，本文所述的方法可以用数字处理系统（例如，常规 的通用计算机系统）来执行。可以替代地使用被设计或编程成只执行 一个功能的专用计算机。计算机系统包括中央处理单元(CPU)1704， 其通过总线1710耦合到随机存取存储器(RAM)1728、只读存储器 (ROM)1712和大容量存储设备1714。凝视计算机程序1708驻留在 随机存取存储器(RAM)1728中，但是也可以驻留在大容量存储器 1714或ROM1712中。

大容量存储设备1714代表可以为本地或远程的永久数据存储设 备（例如，软盘驱动器或固定磁盘驱动器）。网络接口1730通过网络 1732提供连接，从而允许与其他设备通信。应了解，CPU1704可以 实施在通用处理器、专用处理器或特定编程逻辑设备中。输入/输出 (I/O)接口提供与不同的外围设备的通信并且通过总线1710与CPU 1704、RAM1728、ROM1712和大容量存储设备1714连接。示例性 外围设备包括显示器1718、键盘1722、光标控制器1724、可移动介 质设备1734、摄像机1740、凝视检测器1742等。

显示器1718被配置成显示本文所述的用户界面。键盘1722、光 标控制器1724、可移动介质设备1734和其他外围设备耦合到I/O接 口1720以便将命令选择中的信息传达到CPU1704。应了解，可以通 过I/O接口1720传达送至和来自外部设备的数据。也可以在分布式 计算环境中实践本发明，其中任务由通过基于有线或无线网络链接的 远程处理设备来执行。

可以用各种计算机系统配置实践本发明的实施方案，这些配置包 括手持设备、微处理器系统、基于微处理器或可编程消费电子产品、 小型计算机、大型计算机等。也可以在分布式计算环境中实践本发明， 其中任务由通过网络链接的远程处理设备来执行。

考虑到上述实施方案，应理解，本发明可以使用各种计算机实施 的操作，包括存储在计算机系统中的数据。这些操作为需要物理量的 物理操纵的操作。本文中所述的形成本发明的部分的任何操作为有用 的机器操作。本发明也涉及用于执行这些操作的设备或装置。出于所 需的目的，可以特别地建构装置，例如，专用计算机。在被定义为专 用计算机时，计算机也可以执行其他处理、程序执行或例行程序，其 不是特殊目的的一部分，但是仍然能够为了特殊目的操作。或者，操 作可以由通用计算机处理，通用计算机由存储在计算机存储器、高速 缓冲存储器中，或通过网络获得的一个或多个计算机程序选择性地激 活或配置。在通过网络获得数据时，数据可能由网络（例如，云计算 资源）上的其他计算机处理。

本发明的一个或多个实施方案也可以被制造为计算机可读介质 上的计算机可读代码。计算机可读介质为可以存储数据的任何数据存 储设备，数据随后可以由计算机系统读取。计算机可读介质的实例包 括硬盘驱动器、网络连接存储器(NAS)、只读存储器、随机存取存储 器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存 储设备。计算机可读介质可以包括分布在网络耦合的计算机系统上的 计算机可读有形介质，以使得以分布式方式存储和执行计算机可读代 码。

尽管以特定的顺序描述方法操作，但是应理解，可以在各操作之 间执行其他内务操作，或可以调整操作以使得在稍微不同的时间发生 操作，或可以将操作分布在系统中，这个系统允许在与处理相关联的 不同的时间间隔下发生处理操作，只要以所需的方式执行重叠操作的 处理。

尽管为了清楚地理解而相当详细地描述上述发明，但是很明显可 以在所附权利要求书的范围内实践某些变化和修改。因此，本发明的 实施方案被认为是说明性的而非限制性，并且本发明不限于本文给出 的细节，而是可以在所附权利要求书的范围和等效物内被修改。