在电子装置中使用头跟踪技术提供控制服务的设备和方法

摘要

公开了一种在电子装置中使用头跟踪技术提供控制服务的设备和方法。所述方法包括：从通过电子装置的相机捕获的图像检测脸部运动；以及执行与检测到的脸部运动信息相应的控制服务。

说明书

技术领域

本公开涉及一种用于控制电子装置的设备和方法。

背景技术

便携式电子装置已被研发成多媒体装置。根据信息和通信技术以及半导 体技术的发展，便携式电子装置利用数据通信服务以及语音呼叫服务而提供 各种多媒体服务。例如，便携式电子装置均可提供诸如广播服务、无线互联 网服务、相机服务、音乐播放服务等的各种多媒体服务。

便携式电子装置均使用触摸屏，触摸屏作为一种输入和输出装置，执行 信息的输入和显示，以提高空间利用程度并增大便携式电子装置的显示单元 的尺寸。

根据现有技术，便携式电子装置的用户必须使用用户的手或触摸笔（例 如，触控笔）来操作便携式电子装置。例如，当便携式电子装置的用户使用 呼叫服务时，用户触摸显示在触摸屏上的键区的按钮，并输入电话号码。便 携式电子装置的用户可触摸呼叫图标并试图连接呼叫。

然而，当便携式电子装置的用户具有医疗问题时，存在如下问题：用户 可能无法容易地操作便携式电子装置。换言之，因用于操作便携式电子装置 的有限方式的结果，对不同用户而言可能无法访问便携式电子装置的功能。

以上信息仅被呈现为帮助理解本公开的背景信息。关于以上内容中的任 何内容是否可用作针对本公开的现有技术，没做确定，并且没做断定。

发明内容

本公开的多个方面在于至少解决上述问题和/或缺点并至少提供下述优 点。因此，本公开的一方面在于提供一种用于在电子装置中基于用户的脸部 运动信息提供控制服务的设备和方法。

本公开的另一方面在于提供一种用于在具有触摸屏的电子装置中在没有 触摸交互的情况下基于用户的脸部运动信息提供控制服务的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息控制视频播放的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于脸部运动信息和 瞳孔运动信息控制视频播放的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息滚动屏幕的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息平移屏幕的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息提供呼叫接收服务的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息提供电子书服务的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息控制屏幕失活模式的设备和方法。

本公开的另一方面在于提供一种用于在电子装置中基于用户的脸部运动 信息和瞳孔运动信息控制屏幕失活模式的设备和方法。

根据本公开的一方面，提供一种在电子装置中提供控制服务的方法。所 述方法包括：从通过电子装置的相机捕获的图像检测脸部运动；执行与检测 到的脸部运动信息相应的控制服务。

根据本公开的另一方面，提供一种电子装置。所述电子装置包括至少一 个相机、显示单元和至少一个处理器，其中，所述至少一个处理器被配置为 从通过电子装置的至少一个相机捕获的图像检测脸部运动，并执行与检测到 的脸部运动信息相应的控制服务。

一种存储有当被执行时导致至少一个处理器的指令的非暂时性计算机可 读存储介质。

从下面结合附图进行的公开了本公开的各种实施例的详细描述，本公开 的其他方面、优点和显著特征对本领域的技术人员而言将变得清楚。

附图说明

从下面结合附图进行的描述，本公开的特定实施例的以上和其他方面、 特征和优点将更加清楚，在附图中：

图1是示出根据本公开的实施例的电子装置的配置的框图；

图2是示出根据本公开的实施例的处理器的详细配置的框图；

图3是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 服务的处理的流程图；

图4是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 服务的处理的流程图；

图5A、图5B、图5C和图5D示出根据本公开的实施例的在电子装置中 提供控制服务所需的用户的脸部运动；

图6是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 视频播放的处理的流程图；

图7是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 视频播放的处理的流程图；

图8A和图8B示出根据本公开的实施例的用于在电子装置中基于脸部运 动信息控制视频播放的屏幕；

图9是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动 屏幕的处理的流程图；

图10是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚 动屏幕的处理的流程图；

图11A、图11B、图11C和图11D示出根据本公开的实施例的用于在电 子装置中基于脸部运动信息滚动屏幕的屏幕；

图12A和图12B示出根据本公开的实施例的用于确定滚动变量的用户的 脸部运动；

图13是示出根据本公开的实施例的在电子装置中基于脸部运动信息平 移屏幕的处理的流程图；

图14A、图14B和图14C示出根据本公开的实施例的用于在电子装置中 基于脸部运动信息平移屏幕的屏幕；

图15是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制呼叫接收服务的处理的流程图；

图16是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制呼叫接收服务的处理的流程图；

图17A、图17B和图17C示出根据本公开的实施例的用于在电子装置中 基于脸部运动信息控制呼叫接收服务的屏幕；

图18是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制电子书服务的处理的流程图；

图19A和图19B示出根据本公开的实施例的用于在电子装置中基于脸部 运动信息控制电子书服务的屏幕；

图20是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制屏幕失活模式的处理的流程图；以及

图21A和图21B示出根据本公开的实施例的用于在电子装置中基于脸部 运动信息控制屏幕失活模式的屏幕。

在整个附图中，应注意的是，相似的标号用于描绘相同或相似的元件、 特征和结构。

具体实施方式

提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的 本公开的各种实施例。以下描述包括各种特定细节以帮助理解，但是这些特 定细节应仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不 脱离本公开的范围和精神的情况下，可对在此描述的各种实施例进行各种改 变和修改。另外，为了清楚和简明，可省略对公知功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于书面含义，而仅被发 明人用来使本公开得到清晰和一致的理解。因此，本领域的技术人员应当清 楚的是，提供对本公开的各种实施例的以下描述仅为了说明目的，而非为了 限制由权利要求及其等同物限定的本公开的目的。

应当理解的是，除非上下文另外清楚地指示，否则单数形式包括复数指 示物。因此，例如，参考“组件表面”包括参考这种表面中的一个或更多个。

更具体地讲，本公开涉及一种用于使用头部跟踪技术来控制电子装置的 设备和方法。

下文中，将根据本公开的各种实施例给出对用于在电子装置中基于脸部 运动信息提供控制服务的设备和方法的描述。

根据本公开的各种实施例，假定电子装置使用头部跟踪技术来估计用户 的脸部运动。

根据本公开的各种实施例，电子装置可包括通信功能。例如，电子装置 可以是移动通信终端、智能电话、视频电话、个人数字助理（PDA）、个人计 算机（PC）、膝上型计算机、智能电话、笔记本PC、电子书阅读器、便携式 多媒体播放器（PMP）、电视（TV）、移动互联网装置（MID）、超级移动PC （UMPC）、平板PC、导航装置以及运动图片专家组（MPEG）层3（MP3） 播放器、移动医疗装置、相机、可穿戴装置（例如，头戴式装置（“HMD”）、 电子衣服、电子吊带、电子项链、电子附件、电子纹身或智能手表）等中的 任何一个。

根据本公开的各种实施例，电子装置可以是具有通信功能的智能家用电 器。智能家用电器可以是例如电视（例如，智能TV）、数字视频盘（“DVD”） 播放器、音频装置、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、 空气净化器、机顶盒、TV盒（例如，Samsung HomeSync^TM、Apple TV^TM或 Google TV^TM）、游戏机、电子词典、电子钥匙、摄录机、电子相框等。

根据本公开的各种实施例，电子装置可以是医疗装置（例如，磁共振血 管造影（MRA）装置、磁共振成像（MRI）装置、计算机断层扫描（CT）装 置、成像装置或超声装置）、导航装置、全球定位系统（GPS）接收器、事件 数据记录器（EDR）、飞行数据记录器（FDR）、汽车信息娱乐装置、海军电 子装置（例如，海军导航装置、陀螺仪或指南针）、航空电子装置、安全装置、 工业或消费者机器人等。

根据本公开的各种实施例，电子装置可以是包括通信功能的家具、建筑 物/结构的部分、电子板、电子签名接收装置、投影仪、各种测量装置（例如， 水、电、气或电磁波测量装置）等。

根据本公开的各种实施例，电子装置可以是前述装置中的任何组合。另 外，本领域的普通技术人员将清楚的是，根据本公开的各种实施例的电子装 置不限于前述装置。

图1是示出根据本公开的实施例的电子装置的配置的框图。

参照图1，由100表示的电子装置可包括存储器110、处理器单元120、 音频处理单元130、相机单元140、输入/输出（I/O）控制器150、显示单元 160和输入装置170。根据本公开的各种实施例，存储器110可以是多个存储 器。

存储器110包括存储用于控制电子装置100的操作的程序的程序存储单 元111和存储在执行程序时产生的数据的数据存储单元112。

数据存储单元112存储与用户的脸部运动信息匹配的控制功能。脸部运 动信息可包括脸部运动距离、脸部方向、脸部运动速度、脸部运动角度、脸 部运动时间、通过脸部识别的年龄、用户认证信息等中的至少一个。

程序存储单元111包括图形用户界面（GUI）程序113、脸部识别程序 114、控制信息提取程序115、至少一个应用程序116等。包括在程序存储单 元111中的程序可被表示为作为一组指令的指令集。

GUI程序113包括用于将用户界面（UI）作为图形提供在显示单元160 上的至少一个软件组件。例如，GUI程序113可控制显示单元160显示关于 由处理器122执行的应用程序的信息。

脸部识别程序114包括用于从通过相机单元140捕获的用户的图像提取 脸部运动的至少一个软件组件。例如，脸部识别程序114可从通过相机单元 140捕获的用户的脸部图像估计用户的眼睛的位置。之后，脸部识别程序114 可基于用户的眼睛的位置的改变来估计用户的脸部运动。作为另一示例，脸 部识别程序114可从通过相机单元140捕获的用户的脸部图像提取至少一个 特征点。之后，脸部识别程序114可基于包括在脸部图像中的至少一个特征 点的改变来估计用户的脸部运动。

图5A、图5B、图5C和图5D示出根据本公开的实施例的在电子装置中 提供控制服务所需的用户的脸部运动。

参照图5A，可检测从一侧到另一侧的脸部运动（例如，用户摇头）。参 照图5B，可检测从前到后或从上到下的脸部运动（例如，用户点头）。参照 图5C，可检测用户脸部方向的改变。参照图5D，可检测用户脸部的距离（例 如，相对于预定位置（诸如电子装置的屏幕或相机）脸部向前和向后运动）。

根据本公开的各种实施例，脸部运动可包括图5A中示出的用于从中心 向左和向右移动脸部的操作、图5B中示出的用于从中心向前和向后移动脸部 的操作、图5C中示出的用于向左和向右改变脸部方向的操作和图5D中示出 的用于向前和向后移动脸部的操作中的一个或更多个操作。

根据本公开的各种实施例，当通过相机单元140仅可捕获用户脸部的一 部分时，脸部识别程序114可仅使用脸部的一部分估计整个脸部图像。例如， 脸部识别程序114可通过将存储在数据存储单元112中的用户的另一脸部图 像与通过相机单元140捕获的用户的脸部的局部图像进行比较来估计整个脸 部图像。作为另一示例，脸部识别程序114可基于从通过相机单元140捕获 的用户脸部的局部图像检测到的脸部形状和/或尺寸来估计整个脸部图像。

根据本公开的各种实施例，脸部识别程序114还可通过对经由相机单元 140捕获的图像的脸部识别，来估计用户认证或用户的年龄群。例如，脸部 识别程序114可使用通过相机单元140捕获的图像的信息（诸如亮度、运动、 颜色和眼睛位置）来提取脸部区域，并检测包括在脸部区域中的脸部的特征 点，诸如眼睛、鼻子、嘴等。之后，脸部识别程序114可通过将包括在图像 中的特征点的位置和尺寸以及特征点之间的距离与存储在数据存储单元112 中的参考图像信息进行比较，来估计用户认证或用户的年龄组。

控制信息提取程序115包括用于根据通过脸部识别程序114识别的脸部 运动信息提取控制信息的至少一个软件组件。根据本公开的各种实施例，控 制信息提取程序115可提取通过脸部识别程序114识别的脸部运动信息和存 储在数据存储单元112中的至少一个控制信息中的与从处理器122提供的服 务的类型相应的控制信息。例如，当处理器122提供视频播放服务并且通过 脸部识别程序114识别的脸部运动移出参考范围时，控制信息提取程序115 可从数据存储单元112提取暂停控制信息。如果通过脸部识别程序114识别 出多个脸部，则控制信息提取程序115可基于关于多个脸部中的至少一个参 考脸部的运动信息来提取控制信息。控制信息提取程序115可在提取控制信 息时一起考虑用户的瞳孔运动信息。

根据本公开的各种实施例，当处理器122提供电子书服务或互联网服务 并且通过脸部识别程序114识别出的用户凝视参考区域时，控制信息提取程 序115可根据用户凝视的位置从数据存储单元112提取屏幕滚动控制信息。 控制信息提取程序115还可基于用户的年龄群、脸部运动速度、脸部运动角 度、脸部运动距离和脸部运动时间中的至少一个，来确定用于屏幕滚动的控 制变量。根据本公开的各种实施例，用于屏幕滚动的变量可包括滚动中的屏 幕的滚动速度和显示放大倍率中的至少一个。

根据本公开的各种实施例，控制信息提取程序115可根据通过脸部识别 程序114识别的脸部方向从数据存储单元112提取用于平移显示在显示单元 160上的屏幕的控制信息。

根据本公开的各种实施例，当处理器122提供呼叫服务时，控制信息提 取程序115可根据通过脸部识别程序114识别的脸部方向从数据存储单元112 提取呼叫接收控制信息。控制信息提取程序115还可基于脸部运动速度、脸 部运动角度、脸部运动距离和脸部运动时间中的至少一个来确定呼叫接收方 法。呼叫接收方法可包括呼叫接收接受、语音信箱连接和呼叫接收拒绝中的 一个或更多个。

根据本公开的各种实施例，当处理器122提供电子书服务时，控制信息 提取程序115可根据通过脸部识别程序114识别的脸部运动信息从数据存储 单元112提取诸如书签设置信息或页改变信息的控制信息。

根据本公开的各种实施例，当通过脸部识别程序114识别的脸部运动没 有超出参考范围时，控制信息提取程序115可从数据存储单元112提取屏幕 保持控制信息。如果通过脸部识别程序114识别出多个脸部，则控制信息提 取程序115可基于关于多个脸部中的至少一个参考脸部的运动信息来提取控 制信息。控制信息提取程序115还可在提取控制信息时一起考虑用户的瞳孔 运动信息。

应用程序116包括用于安装在电子装置100中的至少一个应用程序的软 件组件。

处理器单元120包括存储器接口121、至少一个处理器122和外围接口 124。根据本公开的各种实施例，包括在处理器单元120中的存储器接口121、 至少一个处理器122和外围接口124可被集成在至少一个集成电路（IC）中 或被单独地实现。

存储器接口121控制如处理器122或外围接口124的组件访问存储器 110。

外围接口124控制电子装置100的I/O外围设备、处理器122和存储器 接口121之间的连接。

处理器122使用至少一个软件程序提供各种多媒体服务。另外，处理器 122执行存储在存储器110中的至少一个程序，并根据相应程序提供服务。 例如，处理器122可执行存储在程序存储单元111中的控制信息提取程序115， 并执行与脸部运动信息相应的控制服务。

音频处理单元130通过扬声器131和麦克风132提供用户与电子装置100 之间的音频接口。

根据本公开的各种实施例，相机单元140位于电子装置100的前表面上， 并通过拍摄对象将收集图像提供给处理器单元120。例如，相机单元140可 包括用于将光信号转换为电信号的相机传感器、用于将模拟图像信号转换为 数字图像信号的图像处理装置和用于处理图像以在显示单元160上显示从图 像处理装置输出的图像信号的信号处理装置。相机传感器可以是电荷耦合器 件（CCD）传感器或互补金属氧化物半导体（CMOS）传感器等中的任何一 个。信号处理装置可以是数字信号处理器（DSP）。根据本公开的各种实施例， 相机单元140可位于电子装置100的另一表面上。

I/O控制器150提供包括显示装置160和输入装置170的I/O装置与外围 接口124之间的接口。

显示单元160显示电子装置100的状态信息、由用户输入的字符、运动 图像、静止图像等。例如，显示单元160可显示关于由处理器122执行的应 用程序的信息。

输入装置170将通过用户的选择而产生的输入数据通过I/O控制器150 提供给处理器单元120。输入装置170包括包含至少一个硬件按钮的键盘、 用于检测触摸信息的触摸板等。例如，输入装置170可将通过触摸板检测到 的触摸信息通过I/O控制器150提供给处理器122。

另外，根据本公开的各种实施例，电子装置100可包括位于电子装置100 的后表面上的相机和用于执行语音和数据通信的通信功能的通信系统。

根据本公开的各种实施例，通信系统可包括支持不同通信网络的多个通 信子模块。例如，通信网络可以是但不限于全球移动通信系统（GSM）网络、 增强数据GSM环境（EDGE）网络、码分多址（CDMA）网络、W-CDMA 网络、长期演进（LTE）网络、正交频分多址（OFDMA）网络、无线局域网 （LAN）、蓝牙网络、近场通信（NFC）网络等中的任何一个。

根据本公开的各种实施例，处理器122可按一个模块执行存储在存储器 110中的软件组件，并执行与脸部运动信息相应的控制服务。

根据本公开的各种实施例，如图2中所示，处理器122可包括作为单独 模块的用于执行与脸部运动信息相应的控制服务的组件。

图2是示出根据本公开的实施例的处理器的详细配置的框图。

参照图1和图2，处理器122包括应用程序驱动单元200、脸部识别单元 210、控制信息提取单元220和显示控制器230。

根据本公开的各种实施例，应用程序驱动单元200执行存储在程序存储 单元111中的至少一个应用程序116，并根据相应应用程序提供服务。例如， 应用程序驱动单元200可执行存储在程序存储单元111中的应用程序并再现 视频。作为另一示例，应用程序驱动单元200可执行存储在程序存储单元111 中的应用程序，并提供电子书服务。作为另一示例，应用程序驱动单元200 可执行存储在程序存储单元111中的应用程序，并提供呼叫接收服务。作为 另一示例，应用程序驱动单元200可执行存储在程序存储单元111中的应用 程序，并提供互联网服务。

根据本公开的各种实施例，脸部识别单元210执行存储在程序存储单元 111中的脸部识别程序114，并从通过相机单元140捕获的用户的图像提取脸 部运动。例如，脸部识别单元210可从通过相机单元140捕获的用户的脸部 图像估计用户眼睛的位置。之后，脸部识别单元210可基于用户眼睛的位置 的改变来估计用户的脸部运动。作为另一示例，脸部识别单元210可从通过 相机单元140捕获的用户的脸部图像提取至少一个特征点。之后，脸部识别 单元210可基于包括在脸部图像中的至少一个特征点的改变来估计用户的脸 部运动。

根据本公开的各种实施例，当通过相机单元140仅可捕获到用户脸部的 一部分时，脸部识别单元210可仅使用脸部的一部分估计整个脸部图像。例 如，脸部识别单元210可通过将存储在数据存储单元112中的用户的另一脸 部图像与通过相机单元140捕获的用户脸部的局部图像进行比较来估计整个 脸部图像。作为另一示例，脸部识别单元210可基于从通过相机单元140捕 获的用户脸部的局部图像检测到的脸部形状和尺寸来估计整个脸部图像。

根据本公开的各种实施例，脸部识别单元210还可通过对相机单元140 所捕获的图像的脸部识别来估计用户认证或用户的年龄群。例如，脸部识别 单元210可使用诸如通过相机单元140捕获的图像的亮度、运动、颜色和眼 睛位置的信息从图像提取脸部区域，并检测包括在脸部区域中的脸部的特征 点，诸如眼睛、鼻子和嘴。之后，脸部识别单元210可通过将包括在图像中 的特征点的位置和尺寸以及特征点之间的距离与存储在数据存储单元112中 的参考图像信息进行比较来估计用户认证或用户的年龄群。

控制信息提取单元220执行存储在程序存储单元111中的控制信息提取 程序115，并根据在脸部识别单元210中识别的脸部运动信息来提取控制信 息。例如，控制信息提取单元220可在存储在数据存储单元112中的至少一 个控制信息中提取与通过脸部识别程序114识别的脸部运动信息和从处理器 122提供的服务的类型相应的控制信息。例如，当应用程序驱动单元200提 供视频播放服务并且通过脸部识别程序114识别的脸部运动移出参考范围 时，控制信息提取单元220可从数据存储单元112提取暂停控制信息。根据 本公开的各种实施例，如果在脸部识别单元210中识别出多个脸部，则控制 信息提取单元220可基于关于多个脸部中的至少一个参考脸部的运动信息来 提取控制信息。根据本公开的各种实施例，控制信息提取单元220还可在提 取控制信息时一起考虑用户的瞳孔运动信息。

根据本公开的各种实施例，当应用程序驱动单元200提供电子书服务或 互联网服务并且在脸部识别单元210中识别出的用户凝视参考区域时，控制 信息提取单元220可根据用户凝视的位置从数据存储单元112提取屏幕滚动 控制信息。控制信息提取单元220还可基于用户的年龄群、脸部运动速度、 脸部运动角度、脸部运动距离、脸部运动时间等中的至少一个来确定用于屏 幕滚动的控制变量。用于屏幕滚动的控制变量可包括滚动中的屏幕的滚动速 度和显示放大倍率中的至少一个。

根据本公开的各种实施例，控制信息提取单元220可根据脸部识别单元 210中识别的脸部方向从数据存储单元112提取用于平移显示在显示单元160 上的屏幕的控制信息。

根据本公开的各种实施例，当应用程序驱动单元200提供呼叫服务时， 控制信息提取单元220可根据通过脸部识别单元210识别的脸部方向从数据 存储单元112提取呼叫接收控制信息。控制信息提取单元220还可基于脸部 运动速度、脸部运动角度、脸部运动距离和脸部运动时间中的至少一个来确 定呼叫接收方法。呼叫接收方法可包括呼叫接收接受、语音信箱连接、呼叫 接收拒绝等中的一个或更多个。

根据本公开的各种实施例，当应用程序驱动单元200提供电子书服务时， 控制信息提取单元220可根据脸部识别单元210中识别的脸部运动信息从数 据存储单元112提取诸如书签设置信息或页改变信息的控制信息。

根据本公开的各种实施例，当脸部识别单元210中识别的脸部运动没有 超出参考范围时，控制信息提取单元220可从数据存储单元112提取屏幕保 持控制信息。如果在脸部识别单元210中识别出多个脸部，则控制信息提取 单元220可基于关于多个脸部中的至少一个参考脸部的运动信息来提取控制 信息。控制信息提取单元220还可在提取控制信息时一起考虑用户的瞳孔运 动信息。

显示控制器230执行存储在程序存储单元111中的GUI程序113，并控 制显示单元160将UI作为图形显示。例如，显示控制器230可控制显示单元 160显示关于在应用程序驱动单元200中执行的应用程序的信息。

根据本公开的各种实施例，电子装置100使用包括脸部识别单元210和 控制信息提取单元220的处理器122根据用户的脸部运动提供控制服务。

根据本公开的各种实施例，电子装置100可包括用于根据用户的脸部运 动提供控制服务的单独的控制模块。

图3是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 服务的处理的流程图。

参照图3，在操作301，电子装置检测脸部运动。例如，电子装置通过至 少一个相机所捕获的用户的图像来检测用户的脸部运动。例如，电子装置可 在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子 装置可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示例， 电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。之 后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用户 的脸部运动。根据本公开的各种实施例，如果通过相机单元仅可捕获到用户 脸部的一部分，则电子装置可仅使用脸部的一部分估计整个脸部图像并提取 脸部运动。

之后，在操作303，电子装置根据脸部运动信息确定控制信息。例如， 电子装置根据脸部运动信息验证控制信息。例如，电子装置可在存储在数据 存储单元中的至少一个控制信息中根据脸部运动信息提取控制信息。根据本 公开的各种实施例，脸部运动信息可包括脸部运动距离、脸部方向、脸部运 动速度、脸部运动角度、脸部运动时间、通过脸部识别的年龄、用户认证信 息等中的至少一个。

在根据脸部运动信息验证控制信息之后，在操作305，电子装置基于根 据脸部运动信息的控制信息来控制服务。例如，电子装置可基于根据脸部运 动信息的控制信息暂停视频播放。作为另一示例，电子装置可基于根据脸部 运动信息的控制信息自动滚动屏幕。作为另一示例，电子装置可基于根据脸 部运动信息的控制信息改变电子书内容的显示区域。作为另一示例，电子装 置可基于根据脸部运动信息的控制信息设置电子书内容的书签。作为另一示 例，电子装置可基于根据脸部运动信息的控制信息提供呼叫接收服务。作为 另一示例，电子装置可基于根据脸部运动信息的控制信息平移屏幕。作为另 一示例，电子装置可基于根据脸部运动信息的控制信息控制屏幕失活模式。 屏幕失活模式表示用于当电子装置在特定时间期间没有检测到输入信息时使 显示单元变暗以减小功耗的控制模式。

图4是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 服务的处理的流程图。

参照图4，在操作401，电子装置识别脸部。例如，电子装置通过至少一 个相机所捕获的图像执行脸部识别。例如，电子装置可使用诸如通过相机单 元捕获的图像的亮度、运动、颜色和眼睛位置的信息从图像提取脸部区域， 并可检测包括在脸部区域中的脸部的特征点，诸如眼睛、鼻子和嘴。

之后，在操作403，电子装置确定用户是否被认证。例如，电子装置验 证是否通过脸部识别信息认证电子装置的用户。例如，电子装置可验证是否 通过将包括在通过相机单元捕获的图像中的特征点的位置和尺寸以及特征点 之间的距离与存储在数据存储单元中的参考图像信息进行比较来认证用户。 参考图像信息可包括用于执行用户认证所预设的至少一个用户的脸部图像。

当电子装置在操作403确定不认证用户时，电子装置识别出电子装置可 不使用脸部运动信息提供控制服务。因此，电子装置可结束图4中示出的控 制服务的处理。根据本公开的各种实施例，电子装置可在参考次数期间重复 执行用户的认证过程。

相反，当电子装置在操作403确定认证用户时，电子装置进行到操作405， 在操作405，电子装置通过（例如，通过至少一个相机捕获的）用户的图像 来检测用户的脸部运动。例如，电子装置可在通过相机单元捕获的用户的脸 部图像上估计用户眼睛的位置。之后，电子装置可基于用户眼睛的位置的改 变来估计用户的脸部运动。作为另一示例，电子装置可从通过相机单元捕获 的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括在脸部 图像中的至少一个特征点的改变来估计用户的脸部运动。根据本公开的各种 实施例，如果通过相机单元仅可捕获到用户脸部的一部分，则电子装置可仅 使用脸部的一部分估计整个脸部图像并提取脸部运动。

之后，在操作407，电子装置根据脸部运动信息确定控制信息。例如， 电子装置根据脸部运动信息验证控制信息。例如，电子装置可在存储在数据 存储单元中的至少一个控制信息中根据脸部运动信息提取控制信息。根据本 公开的各种实施例，脸部运动信息可包括脸部运动距离、脸部方向、脸部运 动速度、脸部运动角度、脸部运动时间、通过脸部识别的年龄、用户认证信 息等中的至少一个。

在根据脸部运动信息验证控制信息之后，在操作409，电子装置基于根 据脸部运动信息的控制信息来控制服务。

图6是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 视频播放的处理的流程图。

参照图6，在操作601，电子装置提供视频播放服务。例如，电子装置可 再现选择的视频文件。例如，电子装置可再现根据通过输入装置提供的触摸 信息所选择的视频文件。例如，电子装置可在显示单元上显示视频播放信息。

之后，在操作603，电子装置驱动相机。例如，电子装置可激活与显示 再现视频的显示单元位于相同方向上的相机单元，以提前视频被再现时提的 用户的脸部运动。

在驱动相机之后，在操作605，电子装置检测脸部运动。例如，电子装 置使用（例如，通过相机捕获的）用户的脸部图像检测用户的脸部运动。例 如，电子装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位 置。之后，电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。 作为另一示例，电子装置可从通过相机单元捕获的用户的脸部图像提取至少 一个特征点。之后，电子装置可基于包括在脸部图像中的至少一个特征点的 改变来估计用户的脸部运动。根据本公开的各种实施例，如果通过相机单元 仅可捕获到用户脸部的一部分，则电子装置可仅使用脸部的一部分估计整个 脸部图像并提取脸部运动。

之后，在操作607，电子装置确定脸部方向是否大于阈值（例如，参考 范围）。例如，电子装置验证脸部方向是否大于参考范围。例如，电子装置可 估计脸部的角度，并验证脸部的方向是否移出显示单元的显示区域。电子装 置可基于与参考范围相关的脸部方向来确定用户是否正在观看显示区域（例 如，视频）。

图8A和图8B示出根据本公开的实施例的用于在电子装置中基于脸部运 动信息控制视频播放的屏幕。

参照图8A，用户脸部正在面向显示单元的显示区域。例如，基于用户脸 部相对于显示单元的位置，可假定用户正在观看（例如，在其上正在再现视 频的）显示单元。

参照图8B，用户脸部未面向显示单元的显示区域。例如，基于用户脸部 相对于显示单元的位置，可假定用户没有观看（例如，在其上正在再现视频 的）显示单元。

当电子装置在操作607确定脸部方向小于或等于参考范围时，电子装置 识别出用户脸部的方向位于显示单元的显示区域内。例如，如图8A中所示， 电子装置可识别出用户欣赏视频。因此，电子装置可返回到操作605，在操 作605，电子装置可使用通过相机捕获的用户的脸部图像来检测用户的脸部 运动。根据本公开的各种实施例，当用户脸部的方向小于或等于参考范围时， 电子装置可保持视频播放状态。例如，当用户脸部的方向小于或等于参考范 围时，电子装置可在显示单元上继续播放（例如，再现）视频。

相反，当电子装置在操作607确定脸部方向大于参考范围时，电子装置 识别出用户脸部的方向移出显示单元的显示区域。例如，根据本公开的各种 实施例，如图8B中所示，电子装置可识别出用户没有欣赏视频（或者没有全 神贯注地观看视频或分心地观看视频）。因此，根据本公开的各种实施例，当 电子装置确定脸部方向大于参考范围时，电子装置可进行到操作609，在操 作609，电子装置可暂停视频播放。

在操作611，电子装置检测脸部运动。例如，在操作611，电子装置使用 （例如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本 公开的各种实施例，电子装置可在用于验证屏幕失活时间的定时器的驱动时 间流逝之前检测用户的脸部运动。根据本公开的各种实施例，定时器在视频 播放暂停的时间点被激活。

之后，在操作613，电子装置确定脸部方向是否小于或等于阈值（例如， 参考范围）。例如，电子装置验证脸部方向是否小于或等于参考范围。例如， 电子装置可验证出脸部的方向位于显示单元的显示区域内。

当电子装置在操作613确定脸部方向大于参考范围时，电子装置识别出 用户的脸部方向移出显示单元的显示区域。电子装置可基于与参考范围相关 的脸部方向来确定用户是否正在观看显示区域（例如，视频）。因此，电子装 置可使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。根据本公 开的各种实施例，当用户的脸部方向大于参考范围时，电子装置保持视频播 放的暂停状态。例如，当用户的脸部方向大于参考范围时，电子装置可在显 示单元上暂停（例如，停止再现）视频。

相反，当电子装置在操作613确定脸部方向小于或等于参考范围时，电 子装置识别出用户的脸部方向位于显示单元的显示区域内。因此，电子装置 可进行到操作615，在操作615，电子装置可再现视频。例如，电子装置可再 现从视频播放在操作609被暂停的播放时间点开始的视频。

之后，在操作617，电子装置确定视频播放是否结束。例如，电子装置 验证视频播放是否结束。

当电子装置在操作617确定视频播放未结束时，电子装置可进行到操作 605，在操作605，电子装置可使用（例如，通过相机捕获的）用户的脸部图 像来检测用户的脸部运动。

相反，当电子装置在操作617确定视频播放结束时，电子装置可结束图 6中示出的控制视频播放的处理。

根据本公开的各种实施例，电子装置可在用户的脸部方向移出参考范围 时暂停视频播放。根据本公开的各种实施例，如果用户的脸部方向移出参考 范围的时间大于参考时间，则电子装置可暂停视频播放。

根据本公开的各种实施例，电子装置可一起考虑用户的脸部运动和瞳孔 运动来暂停视频播放。例如，当电子装置一起考虑用户的脸部运动和瞳孔运 动而识别出（例如，确定）用户没有凝视显示单元的显示区域时，电子装置 可暂停视频播放。

图7是示出根据本公开的实施例的在电子装置中基于脸部运动信息控制 视频播放的处理的流程图。

参照图7，在操作701，再现视频。例如，电子装置提供视频播放服务。 例如，电子装置可再现选择的视频文件（例如，根据通过输入装置提供的触 摸信息所选择的视频文件）。例如，电子装置可在显示单元上显示视频播放信 息。

之后，在操作703，电子装置驱动相机。例如，电子装置可激活与显示 再现视频的显示单元位于相同方向上的相机单元，以提取视频被再现时的用 户的脸部运动。

在驱动相机之后，在操作705，电子装置确定是否识别出多个脸部。例 如，电子装置验证是否在通过相机捕获的图像上识别出多个脸部。

当电子装置在操作705确定识别出多个脸部时，电子装置进行到操作 707，在操作707，电子装置将多个脸部中的任何一个脸部设置为参考脸部。 例如，当婴儿的脸部和妈妈的脸部被识别时，电子装置可将妈妈的脸部设置 为参考脸部。作为另一示例，当多个相似年龄群的脸部被识别时，电子装置 可将预定脸部设置为参考脸部。根据本公开的各种实施例，当多个相似年龄 群的脸部被识别时，电子装置可显示参考脸部选择弹出窗口，并将在参考脸 部选择弹出窗口上选择的脸部设置为参考脸部。

在将多个脸部中的任何一个脸部设置为参考脸部之后，在操作709，电 子装置使用通过相机捕获的图像来检测参考脸部的运动。

之后，在操作711，电子装置确定参考脸部的方向是否大于阈值（例如， 参考范围）。例如，电子装置验证参考脸部的方向是否大于参考范围。例如， 电子装置可估计参考脸部的角度，并验证参考脸部的方向是否移出显示单元 的显示区域。

当电子装置在操作711确定参考脸部的方向小于或等于参考范围时，电 子装置识别出参考脸部的方向位于显示单元的显示区域内。例如，如图8A 中所示，电子装置可识别出参考脸部的用户专注于（例如，欣赏）视频。因 此，当电子装置确定参考脸部的方向小于或等于参考范围时，电子装置可进 行到操作709，在操作709，电子装置可检测通过相机捕获的参考脸部的运动。 根据本公开的各种实施例，当参考脸部的方向小于或等于参考范围时，电子 装置可保持视频播放状态。

相反，当电子装置在操作711确定脸部方向大于参考范围时，电子装置 识别出参考脸部的方向移出显示单元的显示区域。例如，如图8B中所示，电 子装置可识别出参考脸部的用户没有欣赏视频。因此，根据本公开的各种实 施例，当电子装置确定脸部方向大于参考范围时，电子装置可进行到操作713， 在操作713，电子装置可暂停视频播放。根据本公开的各种实施例，当脸部 方向大于参考范围时，电子装置可暂停视频播放。

在操作715，电子装置使用通过相机捕获的图像来检测参考脸部的运动。 电子装置可在用于验证屏幕失活时间的定时器的驱动时间流逝之前检测参考 脸部的运动。根据本公开的各种实施例，定时器在视频播放被暂停的时间点 被激活。

之后，在操作717，电子装置确定脸部方向是否小于或等于阈值（例如， 参考范围）。例如，电子装置验证参考脸部的方向是否小于或等于参考范围。 例如，电子装置可验证出参考脸部的方向位于显示单元的显示区域内。

当电子装置在操作717确定脸部方向大于参考范围时，电子装置识别出 参考脸部的方向移出显示单元的显示区域。因此，根据本公开的各种实施例， 当电子装置确定脸部方向大于参考范围时，电子装置可进行到操作715，在 操作715，电子装置可使用通过相机捕获的图像来检测参考脸部的运动。例 如，根据本公开的各种实施例，当脸部方向大于参考范围时，电子装置保持 视频播放的暂停状态。

相反，当电子装置在操作717确定参考脸部的方向小于或等于参考范围 时，电子装置识别出参考脸部的方向位于显示单元的显示区域内。因此，根 据本公开的各种实施例，当电子装置确定参考脸部的方向小于或等于参考范 围时，电子装置可进行到操作719，在操作719，电子装置可再现视频。例如， 根据本公开的各种实施例，当参考脸部的方向小于或等于参考范围时，电子 装置可从视频播放在操作713被暂停的播放时间点再现视频。

之后，在操作721，电子装置确定视频播放是否结束。例如，电子装置 验证视频播放结束。

相反，当电子装置在操作705确定未识别出多个脸部时，电子装置可进 行到操作723，在操作723，电子装置检测脸部运动。例如，当在操作705仅 识别出一个脸部时，电子装置在操作723使用通过相机捕获的图像来检测用 户的脸部运动。

之后，在操作725，电子装置确定脸部方向是否大于阈值（例如，参考 范围）。例如，电子装置验证脸部方向是否大于参考范围。例如，电子装置可 估计脸部的角度，并验证脸部的方向是否移出显示单元的显示区域。

当电子装置在操作725确定脸部方向小于或等于参考范围时，电子装置 识别出用户脸部的方向位于显示单元的显示区域内。例如，如图8A中所示， 电子装置可识别出用户专注于（例如，欣赏）视频。因此，当电子装置确定 脸部方向小于或等于参考范围时，电子装置可返回到操作723，在操作723， 电子装置可使用（例如，通过相机捕获的）用户的脸部图像来检测用户的脸 部运动。根据本公开的各种实施例，当脸部方向小于或等于参考范围时，电 子装置保持视频播放状态。

相反，当电子装置在操作725确定脸部方向大于参考范围时，电子装置 识别出用户脸部的方向移出显示单元的显示区域。例如，如图8B中所示，电 子装置可识别出用户没有专注于视频（例如，没有欣赏视频或者从视频另外 分心）。因此，当电子装置确定脸部方向大于参考范围时，电子装置可进行到 操作727，在操作727，电子装置可暂停视频播放。

另外，在操作729，电子装置检测脸部运动。例如，电子装置使用（例 如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本公开 的各种实施例，电子装置可在用于验证屏幕失活时间的定时器的驱动时间流 逝之前检测用户的脸部运动。根据本公开的各种实施例，定时器在视频播放 被暂停的时间点被激活。

之后，在操作731，电子装置确定脸部方向是否小于或等于阈值（例如， 参考范围）。例如，电子装置验证脸部方向是否小于或等于参考范围。例如， 电子装置可验证出脸部的方向位于显示单元的显示区域内。

当电子装置在操作731确定脸部方向大于参考范围时，电子装置识别出 用户脸部的方向移出显示单元的显示区域。因此，当在操作731脸部方向大 于参考范围时，电子装置可返回到操作729，在操作729，电子装置可使用（例 如，通过相机捕获的）用户的脸部图像来检测用户的脸部运动。根据本公开 的各种实施例，当电子装置确定脸部方向大于参考范围时，电子装置保持视 频播放的暂停状态。

相反，当电子装置在操作731确定脸部方向小于或等于参考范围时，电 子装置识别出用户脸部的方向位于显示单元的显示区域内。因此，当电子装 置确定脸部方向小于或等于参考范围时，电子装置可进行到操作733，在操 作733，电子装置可再现视频。例如，当脸部方向小于或等于参考范围时， 电子装置可从视频播放在操作727被暂停的播放时间点再现视频。

之后，在操作721，电子装置确定视频播放是否结束。例如，电子装置 验证视频播放是否结束。

根据本公开的各种实施例，当电子装置在操作721确定视频播放未结束 时，电子装置进行到操作707或操作723，在操作723，电子装置使用通过相 机捕获的图像来检测用户的脸部运动。

相反，当电子装置在操作721确定视频播放结束时，电子装置可结束图 7中示出的控制视频播放的处理。

根据本公开的各种实施例，电子装置可在用户脸部的方向移出参考范围 时暂停视频播放。在用户的脸部方向移出参考范围的时间大于参考时间的情 况下，电子装置可暂停视频播放。

根据本公开的各种实施例，电子装置可一起考虑用户的脸部运动和瞳孔 运动来暂停视频播放。例如，当电子装置一起考虑用户的脸部运动和瞳孔运 动而识别出（例如，确定）用户没有凝视显示单元的显示区域时，电子装置 可暂停视频播放。

图11A、图11B、图11C和图11D示出根据本公开的实施例的在电子装 置中基于脸部运动信息滚动屏幕的屏幕。

参照图11A和图11B，用户的头（例如，脸部、瞳孔等）相对于电子装 置的显示单元向上运动。电子装置可检测出用户的头（例如，脸部、瞳孔等） 相对于电子装置的显示单元运动，并且考虑用户的头（例如，脸部、瞳孔等） 的运动在显示单元的显示区域中滚动内容。

参照图11C，如果用户的头（例如，脸部、瞳孔等）相对于电子装置的 显示单元保持向上的位置，则电子装置可在显示单元的显示区域中继续内容 的滚动操作。

参照图11D，如果用户的头（例如，脸部、瞳孔等）相对于电子装置的 显示单元向下运动（例如，以便返回到原始位置或剩余位置），则电子装置可 在显示单元的显示区域中停止内容的滚动操作。

图9是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚动 屏幕的处理的流程图。

参照图9，在操作901，电子装置执行第一应用程序，并根据第一应用程 序提供服务。例如，电子装置可提供支持滚动功能的服务。

提供支持滚动功能的服务，在操作903，电子装置驱动相机。例如，电 子装置可激活与根据第一应用程序显示服务屏幕的显示单元位于相同方向上 的相机单元。

在驱动相机之后，在操作905，电子装置使用通过相机捕获的图像来检 测用户的脸部运动，并估计用户的第一凝视位置。例如，电子装置可从通过 相机捕获的图像检测用户眼睛或用户眼睛的位置。之后，电子装置可从由相 机的观看角度所定义的帧检测用户眼睛的相对位置。

在估计用户的第一凝视位置之后，在操作907，电子装置基于用户的第 一凝视位置确定参考坐标。例如，电子装置可考虑用户的第一凝视位置来设 置参考坐标。例如，当用户眼睛在参考时间期间或在多于参考时间期间固定 于第一凝视位置时，电子装置可将第一凝视位置的坐标设置为参考坐标。

之后，在操作909，电子装置确定用户的凝视是否改变。例如，电子装 置验证用户的凝视是否改变。例如，电子装置可验证用户眼睛的位置是否移 出参考坐标。根据本公开的各种实施例，电子装置可验证用户的凝视是否移 出以参考坐标为中心的参考范围。

当电子装置在操作909确定用户的凝视移出参考坐标时，电子装置识别 出用户的凝视改变。因此，当电子装置确定用户的凝视移出参考坐标时，电 子装置进行到操作911，在操作911，电子装置根据用户的凝视改变方向滚动 屏幕。例如，如图11A中所示，当用户的凝视沿参考坐标向上移动时，电子 装置可识别出用户验证（例如，选择）上部的服务内容。因此，如图11B中 所示，电子装置可向下滚动服务屏幕。作为另一示例，当用户的凝视沿参考 坐标向下移动时，电子装置可识别出用户验证（例如，选择）下部的服务内 容。因此，电子装置可向上滚动服务屏幕。作为另一示例，当用户的凝视移 动到比参考坐标更右手侧时，电子装置可识别出用户验证（例如，选择）右 部的服务内容。因此，电子装置可向左手侧滚动服务屏幕。作为另一示例， 当用户的凝视移动到比参考坐标更左手侧时，电子装置可识别出用户验证（例 如，选择）左部的服务内容。因此，电子装置可向右手侧滚动服务屏幕。

之后，在操作913，电子装置确定是否产生了滚动停止事件。例如，电 子装置验证是否产生了滚动停止事件。例如，电子装置可验证用户的凝视是 否在与在操作911的用户的凝视改变方向不同的方向上改变。

当电子装置确定用户的凝视未改变时或者当检测到与用户的凝视改变方 向相同的方向上的改变时，电子装置可识别出未产生滚动停止事件。因此， 当电子装置确定用户的凝视未改变时或者当检测到与用户的凝视改变方向相 同的方向上的改变时，电子装置根据在操作911的用户的凝视改变方向滚动 屏幕。例如，当用户的凝视沿参考坐标向上移动时，如图11B中所示，电子 装置可向下滚动服务屏幕。如图11C中所示，如果用户的凝视固定，则电子 装置保持服务屏幕的向下滚动。

在操作913，电子装置确定是否产生了滚动停止事件。

如果电子装置在操作913确定未产生滚动停止事件，则电子装置可继续 轮询滚动停止事件的产生。

当电子装置确定用户的凝视改变到与在操作911的用户的凝视改变方向 不同的方向时，电子装置可识别出在操作913产生了滚动停止事件。因此， 当电子装置确定用户的凝视改变到与在操作911的用户的凝视改变方向不同 的方向时，电子装置可进行到操作915，在操作915，电子装置停止屏幕滚动。 例如，如图11B中所示，当用户的凝视沿参考坐标向上移动时，电子装置可 向下滚动服务屏幕。如图11D中所示，如果用户的凝视沿参考坐标向下移动， 则电子装置结束服务屏幕的滚动。

根据本公开的各种实施例，电子装置可在与用户的凝视方向不同的方向 上执行屏幕滚动。

根据本公开的各种实施例，电子装置可在与用户的凝视方向相同的方向 上执行屏幕滚动。例如，当用户的凝视沿参考坐标向上移动时，电子装置可 根据用户的凝视方向向上滚动服务屏幕。作为另一示例，当用户的凝视沿参 考坐标向下移动时，电子装置可根据用户的凝视方向向下滚动服务屏幕。作 为另一示例，当用户的凝视移动到比参考坐标更右手侧时，电子装置可向右 手侧滚动服务屏幕。作为另一示例，当用户的凝视移动到比参考坐标更左手 侧时，电子装置可向左手侧滚动服务屏幕。

图12A和图12B示出根据本公开的实施例的用于确定滚动变量的用户的 脸部运动。

参照图12A，沿左方向和右方向的脸部运动可用于确定滚动变量。

参照图12B，沿前方向和后方向的脸部运动可用于确定滚动变量。

图10是示出根据本公开的实施例的在电子装置中基于脸部运动信息滚 动屏幕的处理的流程图。

参照图10，在操作1001，电子装置执行第一应用程序。例如，电子装置 执行第一应用程序，并根据第一应用程序提供服务。例如，电子装置可提供 支持滚动功能的服务。

提供支持滚动功能的服务，在操作1003，电子装置驱动相机。例如，电 子装置可激活与根据第一应用程序显示服务屏幕的显示单元位于相同方向上 的相机单元。

在驱动相机之后，在操作1005，电子装置根据脸部运动估计用户的第一 凝视位置。例如，电子装置使用通过相机捕获的图像来检测用户的脸部运动， 并估计用户的第一凝视位置。例如，电子装置可从通过相机捕获的图像检测 用户眼睛或用户眼睛的位置。之后，电子装置可从由相机的观看角度所定义 的帧检测用户眼睛的相对位置。

在估计用户的第一凝视位置之后，在操作1007，电子装置基于用户的第 一凝视位置确定参考坐标。例如，电子装置考虑第一凝视位置来设置参考坐 标。例如，当用户眼睛在参考时间期间或在多于参考时间期间固定于第一凝 视位置时，电子装置可将第一凝视位置的坐标设置为参考坐标。

之后，在操作1009，电子装置确定用户的凝视是否改变。例如，电子装 置验证用户的凝视是否改变。例如，电子装置可验证用户眼睛的位置是否移 出参考坐标。根据本公开的各种实施例，电子装置可验证用户的凝视是否移 出以参考坐标为中心的参考范围。

如果电子装置在操作1009确定用户的凝视改变，则电子装置可进行到操 作1011，在操作1011，电子装置根据脸部运动信息确定滚动变量。例如，当 用户的凝视移出参考坐标时，电子装置识别出用户的凝视改变。因此，根据 本公开的各种实施例，当用户的凝视移出参考坐标时，电子装置基于用户的 脸部运动信息确定滚动变量。例如，如图12A中所示，当用户的脸部方向向 左或向右改变时，电子装置可基于脸部改变角度1201、1203、1205、1207、 1209和1211确定滚动速度。作为另一示例，如图12B中所示，当用户的脸 部中心向前或向后改变时，电子装置可基于脸部改变角度1221、1223、1225、 1227、1229和1231确定滚动速度。作为另一示例，电子装置可基于用户脸 部的运动速度确定滚动速度。

在确定滚动变量之后，在操作1013，电子装置根据用户的凝视改变方向 和滚动变量滚动屏幕。另外，当用户的凝视固定时，电子装置可与关于用户 的凝视固定的时间的信息成比例地改变滚动速度。

之后，在操作1015，电子装置确定是否产生了滚动停止事件。例如，电 子装置验证是否产生了滚动停止事件。例如，电子装置可验证用户的凝视是 否在与在操作1013的用户的凝视改变方向不同的方向上改变。

在操作1015，当电子装置确定用户的凝视未改变时或者当检测到与用户 的凝视改变方向相同方向上的改变时，电子装置可识别出未产生滚动停止事 件。因此，电子装置根据在操作1013的用户的凝视改变方向滚动屏幕。例如， 如图11B中所示，当用户的凝视沿参考坐标向上移动时，电子装置可向下滚 动服务屏幕。如图11C中所示，如果用户的凝视固定，则电子装置保持服务 屏幕的向下滚动。如果电子装置在操作1015确定未产生滚动停止事件，则电 子装置可继续轮询滚动停止事件的产生。

当电子装置在操作1015确定用户的凝视改变到与在操作1013的用户的 凝视改变方向不同的方向时，电子装置可识别出产生了滚动停止事件。因此， 当用户的凝视改变到与在操作1013的用户的凝视改变方向不同的方向时，电 子装置可进行到操作1017，在操作1017，电子装置停止屏幕滚动。例如，如 图11B中所示，当用户的凝视沿参考坐标向上移动时，电子装置可向下滚动 服务屏幕。如图11D中所示，如果用户的凝视沿参考坐标向下移动，则电子 装置结束服务屏幕的滚动。

根据本公开的各种实施例，在执行应用程序之后，电子装置可将在参考 时间期间用户的凝视固定的坐标设置为用于滚动的参考坐标。

根据本公开的各种实施例，电子装置可使用预定的参考坐标。在此情况 下，当用户的凝视移出参考坐标并且在参考时间期间固定时，电子装置可基 于用户的凝视方向和脸部运动信息中的至少一个来执行滚动。

根据本公开的各种实施例，电子装置可基于通过脸部识别验证的用户的 年龄群来控制服务屏幕的滚动速度和显示放大倍率。

图14A、图14B和图14C示出根据本公开的实施例的用于在电子装置中 基于脸部运动信息平移屏幕的屏幕。

参照图14A，可基于用户的脸部运动向右平移屏幕。例如，可基于朝左 方向的脸部运动向右平移屏幕。

参照图14B，可基于用户的脸部运动向下平移屏幕。例如，可基于向上 的脸部运动向下平移屏幕。

参照图14C，可基于用户的脸部运动向左平移屏幕。例如，可基于朝右 方向的脸部运动向左平移屏幕。

图13是示出根据本公开的实施例的在电子装置中基于脸部运动信息平 移屏幕的处理的流程图。

参照图13，在操作1301，电子装置在显示单元上显示服务屏幕。

之后，在操作1303，电子装置驱动相机。例如，电子装置激活与显示服 务屏幕的显示单元位于相同方向上的相机单元。

在驱动相机之后，在操作1305，电子装置确定是否检测到脸部运动。例 如，电子装置验证使用通过相机捕获的图像是否检测到用户的脸部运动。电 子装置可验证在基于在相机被驱动之后首先检测到的用户的脸部方向的参考 范围内或大于参考范围的范围内是否检测到用户的脸部运动。例如，电子装 置在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后，电 子装置验证是否检测到用户眼睛的位置的改变。作为另一示例，电子装置从 通过相机单元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置 可验证是否检测到包括在脸部图像中的至少一个特征点的改变。

如果电子装置在操作1305确定未检测到脸部运动，则电子装置可轮询脸 部运动的检测。

相反，当在操作1305检测到用户的脸部运动时，电子装置进行到操作 1307，在操作1307，电子装置根据脸部方向执行图像的平移。例如，电子装 置基于用户的脸部运动信息平移服务屏幕。例如，如图14B中所示，当用户 的脸部向上运动时，电子装置可向下平移服务屏幕。作为另一示例，如图14A 中所示，当用户的脸部沿左方向运动时，电子装置可向右平移服务屏幕。作 为另一示例，如图14C中所示，当用户的脸部沿右方向运动时，电子装置可 向左平移服务屏幕。

根据本公开的各种实施例，当平移服务屏幕时，电子装置可基于用户与 电子装置之间的距离改变来改变服务屏幕的显示放大倍率。

图17A、图17B和图17C示出根据本公开的实施例的用于在电子装置中 基于脸部运动信息控制呼叫接收服务的屏幕。

参照图17A，可启动呼叫功能。例如，电子装置可接收呼叫。

参照图17B，用户可移动用户的头（例如，以便产生脸部运动）。例如， 电子装置可检测脸部运动。

参照图17C，电子装置可根据检测到的脸部运动控制呼叫功能。例如， 电子装置可根据检测到的脸部运动接听传入呼叫。

图15是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制呼叫接收服务的处理的流程图。

参照图15，在操作1501，电子装置确定是否接收到呼叫。例如，电子装 置验证是否接收到呼叫。

如果电子装置在操作1501确定未接收到呼叫，则电子装置可继续轮询传 入呼叫。作为示例，电子装置可在轮询传入呼叫的同时执行相应功能。

相反，如果电子装置在操作1501确定接收到呼叫，则电子装置进行到操 作1503，在操作1503，电子装置驱动相机。例如，如图17A中所示，当接 收到呼叫时，电子装置可在显示单元上显示呼叫接收屏幕。之后，电子装置 激活与显示呼叫接收屏幕的显示单元位于相同方向上的相机单元。

在驱动相机之后，在操作1505，电子装置检测脸部运动。例如，电子装 置使用通过相机捕获的用户的脸部图像来检测用户的脸部运动。例如，电子 装置可在通过相机单元捕获的用户的脸部图像上估计用户眼睛的位置。之后， 电子装置可基于用户眼睛的位置的改变来估计用户的脸部运动。作为另一示 例，电子装置可从通过相机单元捕获的用户的脸部图像提取至少一个特征点。 之后，电子装置可基于包括在脸部图像中的至少一个特征点的改变来估计用 户的脸部运动。根据本公开的各种实施例，在通过相机单元仅捕获到用户脸 部的一部分时，电子装置可仅使用脸部的一部分估计整个脸部图像并提取脸 部运动。

在检测到用户的脸部运动之后，在操作1507，电子装置根据脸部运动信 息确定呼叫接收控制信息。例如，电子装置根据脸部运动信息验证呼叫接收 控制信息。电子装置基于用户的脸部方向、脸部运动速度、脸部运动角度、 脸部运动时间等中的至少一个来确定呼叫接收控制信息。例如，如图17B中 所示，当检测到用户脸部的前/后运动时，电子装置可识别出（例如，确定） 所检测到的运动是呼叫接收接受信息。作为另一示例，当检测到用户脸部的 左/右运动时，电子装置可识别出（例如，确定）所检测到的运动是呼叫接收 拒绝信息。根据本公开的各种实施例，电子装置可基于用户脸部的左/右运动 距离确定呼叫接收拒绝方法。根据本公开的各种实施例，当用户脸部的左/右 运动距离小于参考距离时，电子装置确定使用语音信箱的呼叫接收拒绝方法。 相反，根据本公开的各种实施例，当用户脸部的左/右运动距离大于或等于参 考距离时，电子装置确定立即阻止呼叫连接的呼叫接收拒绝方法。

在根据脸部运动信息验证呼叫接收控制信息之后，在操作1509，电子装 置根据呼叫接收控制信息提供呼叫接收服务。例如，电子装置根据基于脸部 运动信息的呼叫接收控制信息来提供呼叫接收服务。例如，如图17B中所示， 当电子装置识别出呼叫接收根据用户脸部的前/后运动被接受时，如图17C中 所示，电子装置提供与对方电子装置的呼叫服务。

图16是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制呼叫接收服务的处理的流程图。

参照图16，在操作1601，电子装置确定是否接收到呼叫。例如，电子装 置验证是否接收到呼叫。

如果电子装置在操作1601确定未接收到呼叫，则电子装置可继续轮询传 入呼叫。作为示例，电子装置可在轮询传入呼叫的同时执行相应功能。

相反，如果电子装置在操作1601确定接收到呼叫，则电子装置进行到操 作1603，在操作1603，电子装置驱动相机。例如，如图17A中所示，当接 收到呼叫时，电子装置可在显示单元上显示呼叫接收屏幕。之后，电子装置 激活与显示呼叫接收屏幕的显示单元位于相同方向上的相机单元。

在驱动相机之后，在操作1605，电子装置识别脸部。例如，电子装置通 过经由相机捕获的图像执行脸部识别。例如，电子装置使用诸如通过相机单 元捕获的图像的亮度、运动、颜色、眼睛位置的信息从通过相机单元捕获的 图像提取脸部区域，并检测包括在脸部区域中的用户脸部的特征点，诸如眼 睛、鼻子和嘴。

之后，在操作1607，电子装置确定用户是否被认证。例如，电子装置验 证是否通过脸部识别信息认证电子装置的用户。例如，电子装置可验证是否 通过将包括在通过相机单元捕获的图像中的特征点的位置和尺寸以及特征点 之间的距离与存储在数据存储单元中的参考图像信息进行比较来认证用户。 参考图像信息可包括用于执行用户认证所预设的至少一个用户的脸部图像。

当电子装置在操作1607确定用户未被认证时，电子装置可识别出电子装 置可不使用脸部运动信息提供控制服务。因此，电子装置可结束图16中示出 的控制呼叫接收服务的处理。电子装置还可在参考次数期间重复用户的认证 过程。

相反，当电子装置确定用户被认证时，电子装置进行到操作1609，在操 作1609，电子装置检测脸部运动。例如，电子装置使用通过相机捕获的用户 的脸部图像来检测用户的脸部运动。

在检测用户的脸部运动之后，在操作1611，电子装置根据脸部运动信息 确定呼叫接收控制信息。例如，电子装置根据脸部运动信息验证呼叫接收控 制信息。电子装置可基于用户的脸部方向、脸部运动速度、脸部运动角度、 脸部运动时间等中的至少一个来确定呼叫接收控制信息。例如，如图17B中 所示，当检测到用户脸部的前/后运动时，电子装置可识别出所检测到的运动 是呼叫接收接受信息。作为另一示例，当检测到用户脸部的左/右运动时，电 子装置可识别出所检测到的运动是呼叫接收拒绝信息。根据本公开的各种实 施例，电子装置可基于用户脸部的左/右运动距离确定呼叫接收拒绝方法。根 据本公开的各种实施例，当用户脸部的左/右运动距离小于参考距离时，电子 装置确定使用语音信箱的呼叫接收拒绝方法。相反，根据本公开的各种实施 例，当用户脸部的左/右运动距离大于或等于参考距离时，电子装置确定立即 阻止呼叫连接的呼叫接收拒绝方法。

在根据脸部运动信息验证呼叫接收控制信息之后，在操作1613，电子装 置根据呼叫接收控制信息提供呼叫接收服务。例如，电子装置根据依据脸部 运动信息的呼叫接收控制信息来提供呼叫接收服务。例如，如图17B中所示， 当电子装置识别出呼叫接收根据用户脸部的前/后运动被接受时，如图17C中 所示，电子装置提供与对方电子装置的呼叫服务。

图19A和图19B示出根据本公开的实施例的用于在电子装置中基于脸部 运动信息控制电子书服务的屏幕。

参照图19A，电子装置可确定用户的脸部运动。例如，电子装置可确定 用户是否正在看向（例如，电子书的）页的右下角。

参照图19B，电子装置可根据脸部运动翻电子书的页。例如，如果电子 装置确定用户看向页的右下角，则电子装置可翻页以进行到下一页。

图18是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制电子书服务的处理的流程图。

参照图18，在操作1801，电子装置确定是否提供电子书服务。例如，电 子装置验证是否提供电子书服务。例如，电子装置可验证存储在数据存储单 元中的至少一个电子书文件中的任何一个是否根据通过输入装置提供的触摸 信息而被选择。

如果电子装置在操作1801确定不提供电子书服务，则电子装置可继续轮 询用于提供电子书服务的指示（例如，提供电子书服务的请求、电子书应用 的启动等）。作为示例，电子装置可在轮询将提供电子书服务的指示的同时执 行相应功能。

相反，如果电子装置在操作1801确定提供电子书服务，则电子装置进行 到操作1803，在操作1803，电子装置显示电子书内容。例如，电子装置在显 示单元上显示针对电子书服务选择的电子书内容。

之后，在操作1805，电子装置驱动相机。例如，电子装置激活与显示电 子书内容的显示单元位于相同方向上的相机单元。

在驱动相机之后，在操作1807，电子装置根据脸部运动估计用户的第一 凝视位置。例如，电子装置检测用户的脸部运动，并估计用户的凝视位置。 例如，电子装置可从通过相机捕获的图像检测用户眼睛或用户眼睛的位置。 之后，电子装置可从根据相机的观看角度所定义的帧检测用户眼睛的相对位 置。

之后，在操作1809，电子装置确定第一凝视位置是否等于（例如，或者 基本上等于）第一参考区域。例如，电子装置验证用户的凝视是否位于第一 参考区域。例如，如图19A中所示，电子装置可验证用户的凝视在参考时间 期间或在多于参考时间期间是否固定于第一参考区域1901。

当电子装置在操作1809确定用户的凝视位于第一参考区域时，电子装置 可进行到操作1811，在操作1811，电子装置改变电子书内容的显示区域。例 如，如图19B中所示，电子装置可改变电子书内容的页。如果用户的凝视固 定于第一参考区域，则电子装置可连续改变电子书内容的页。电子装置还可 控制页改变速度以与用户的凝视对第一参考区域的固定时间成比例。

相反，当电子装置在操作1809确定用户的凝视没有位于第一参考区域 时，电子装置进行到操作1813，在操作1813，电子装置确定第一凝视位置是 否等于（例如，或者基本上等于）第二参考区域。例如，电子装置验证用户 的凝视是否位于第二参考区域。例如，如图19A中所示，电子装置可验证用 户的凝视在参考时间期间或者在多于参考时间期间是否固定于第二参考区域 1903。

当电子装置在操作1813确定用户的凝视没有位于第二参考区域时，电子 装置可进行到操作1807，在操作1807，电子装置根据用户的脸部运动估计用 户的凝视方向。

相反，当电子装置确定用户的凝视位于第二参考区域时，在操作1815， 电子装置对显示在显示单元上的电子书内容的显示区域设置书签。

在本公开的实施例中，电子装置可使用预定参考区域控制电子书内容。 电子装置还可基于用户的脸部运动设置参考区域。例如，电子装置可基于用 户的凝视在参考时间期间或在多于参考时间期间固定到的坐标来设置参考区 域。

根据本公开的各种实施例，电子装置可基于用户脸部的运动方向控制电 子书服务。例如，如图5C中所示，当用户的脸部向左/向右运动时，电子装 置可根据用户脸部的运动方向改变电子书内容的页。作为另一示例，如图5B 中所示，当用户的脸部中心向上/向下运动时，电子装置可对显示在显示单元 上的电子书内容的显示区域设置书签。

根据本公开的各种实施例，电子装置还可基于通过脸部识别验证的用户 的年龄群来控制电子书内容的显示放大倍率。

图21A和图21B示出根据本公开的实施例的用于在电子装置中基于脸部 运动信息控制屏幕失活模式的屏幕。

参照图21A，用户可观看显示单元上的显示（例如，显示在显示单元上 的网页）。电子装置可确定用户正在观看显示单元上的显示。

参照图21B，用户可不注意显示单元上的显示。例如，用户可不浏览（或 者另外分心）显示单元上的显示。电子装置可确定用户没有观看显示单元上 的显示。

图20是示出根据本公开的实施例的在电子装置中基于脸部运动信息控 制屏幕失活模式的处理的流程图。

参照图20，在操作2001，电子装置可显示网页信息。例如，电子装置在 显示单元上显示用于互联网服务的网页信息。

之后，在操作2003，电子装置驱动相机。例如，电子装置激活与显示网 页信息的显示单元位于相同方向上的相机单元。

在驱动相机之后，在操作2005，电子装置使用（例如，通过相机捕获的） 用户的脸部图像来检测用户的脸部运动。例如，电子装置可在通过相机单元 捕获的用户的脸部图像上估计用户眼睛的位置。之后，电子装置可基于用户 眼睛的位置的改变来估计用户的脸部运动。例如，电子装置可从通过相机单 元捕获的用户的脸部图像提取至少一个特征点。之后，电子装置可基于包括 在脸部图像中的至少一个特征点的改变来估计用户的脸部运动。当电子装置 通过相机单元仅可捕获用户脸部的一部分时，电子装置可仅使用脸部的一部 分估计整个脸部图像并提取脸部运动。

之后，在操作2007，电子装置确定脸部方向是否小于参考范围。例如， 电子装置验证用户的脸部方向是否小于参考范围。例如，根据本公开的各种 实施例，电子装置可估计脸部的角度，并验证脸部的方向是否位于显示单元 的显示区域内。

当电子装置确定脸部方向小于参考范围时（例如，如果脸部方向位于参 考范围内），电子装置识别出用户的脸部方向位于显示单元的显示区域内。例 如，如图21A中所示，电子装置识别出用户查看网页。因此，当脸部方向小 于参考范围时（例如，如果脸部方向位于参考范围内），电子装置进行到操作 2009，在操作2009，电子装置使屏幕失活模式失活。例如，尽管电子装置在 特定时间期间没有检测到输入信息，但是电子装置保持（例如，维持）显示 单元处于背光状态。

之后，在操作2011，电子装置确定互联网服务是否结束。例如，电子装 置验证互联网服务是否结束。

当电子装置在操作2011确定互联网服务未结束时，电子装置可进行到操 作2005，在操作2005，电子装置使用通过相机捕获的用户的脸部图像来检测 用户的脸部运动。

相反，当电子装置在操作2011确定互联网服务结束时，电子装置结束图 20中示出的控制屏幕失活模式的处理。

相反，当电子装置在操作2007确定脸部方向大于或等于参考范围时，电 子装置识别出用户的脸部方向移出显示单元的显示区域。例如，如图21B中 所示，电子装置识别出用户没有查看网页。因此，当电子装置确定脸部方向 大于或等于参考范围时，电子装置进行到操作2013，在操作2013，电子装置 验证定时器的驱动时间是否终止。根据本公开的各种实施例，每当检测到输 入信息时，用于验证控制显示单元以使显示单元变暗的时间点的定时器被重 置。

当电子装置在操作2013确定定时器的驱动时间未终止时，电子装置进行 到操作2005，在操作2005，电子装置使用通过相机捕获的用户的脸部图像来 检测用户的脸部运动。

相反，当电子装置在操作2013确定定时器的驱动时间终止时，电子装置 进行到操作2015，在操作2015，电子装置控制显示单元以使显示单元变暗。

根据本公开的各种实施例，当用户的脸部方向位于参考范围内时，电子 装置可使屏幕失活模式失活。

根据本公开的各种实施例，当识别出多个脸部时，电子装置可基于多个 脸部中的参考脸部的方向来控制屏幕失活模式。

如上所述，根据本公开的各种实施例，由于电子装置根据脸部运动信息 提供控制服务，因此在电子装置可能无法识别用户具有医疗问题的瞳孔的运 动的状态下，电子装置的用户可自由地控制电子装置。

将认识到，根据权利要求和说明书描述的本公开的各种实施例可被实现 为硬件、软件或硬件和软件的组合的形式。任何这样的软件可被存储在非暂 时性计算机可读存储介质中。非暂时性计算机可读存储介质存储一个或更多 个程序（软件模块），所述一个或更多个程序包括当被电子装置中的一个或更 多个处理器执行时使电子装置执行本公开的方法的指令。任何这样的软件可 被存储为诸如如ROM的存储装置（不论是否可擦除或可重写）的易失性或 非易失性存储器的形式或者被存储为诸如RAM、存储芯片、装置或集成电路 的存储器的形式或者被存储在诸如CD、DVD、磁盘或磁带等的光或磁可读 介质上。将认识到，存储装置和存储介质是适合于存储程序的机器可读存储 器的各种实施例，所述程序包括当被执行时实现本公开的各种实施例的指令。 因此，各种实施例提供包括用于实现如本说明书的权利要求中的任何一个所 述的设备或方法的代码的程序以及存储这样的程序的机器可读存储器。另外， 这样的程序可经由诸如通过有线或无线连接运载的通信信号的任何介质被电 传达，并且各种实施例适当地包含这样的程序。

尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域的 技术人员将理解，在不脱离由权利要求及其等同物限定的本公开的精神和范 围的情况下，这里可进行形式和细节上的各种改变。