基于情境感知的屏幕滚动方法及其终端

摘要

提供一种基于情境感知的屏幕滚动方法及其终端。所述方法包括：检测关于终端的周围环境的信息，基于周围环境设置屏幕滚动模式，检测与设置的屏幕滚动模式相应的事件的发生，并且根据发生的事件来执行屏幕滚动。

说明书

技术领域

本公开总体地涉及一种终端。更具体地，本公开涉及一种用于在终端中 控制屏幕滚动的方法。

背景技术

由用户控制的电子装置可包括至少一个显示装置，并且，用户可在观看 显示装置上的电子装置的各种操作状态或者应用的操作的同时，通过输入装 置来控制电子装置。特别地，为了便于携带而制造的移动终端，例如，蜂窝 电话，由于其有限的尺寸而可具有输入装置（例如，触摸屏，通过该输入装 置，用户可在显示装置上进行输入），来代替具有用于操纵上、下、左和右移 动的四向按钮，由此提供用户界面。

例如，移动终端可以在列表视图状态下使用屏幕滚动来移动列表项目， 在列表视图状态下，移动终端以多个条、多个框或多个图标的形式显示多个 相关项目，例如，接收/发送的短消息服务（SMS）消息项目和地址簿项目。 当在触摸屏上提供用户界面时，用户可通过进行拖动（例如，当用手指或触 笔触摸触摸屏的一个点的同时，用户将手指或触笔移动到另一个点并在停止 移动之后释放触摸的操作或手势）或轻弹（例如，在用手指或触笔触摸触摸 屏的一个点之后，用户沿任何方向快速地移动手指或触笔的同时释放触摸的 操作或手势）来将列表项目移动到期望的点。在接收到拖动输入时，移动终 端可根据与拖动输入相应的方向和移动状态来在列表视图状态下执行屏幕滚 动操作。在接收到轻弹输入时，移动终端可沿与轻弹输入相应的方向以与轻 弹输入相应的速度快速地执行屏幕滚动，逐渐地降低屏幕滚动的速度，然后 停止屏幕滚动。

但是，在这种情况下，如果存在大量的列表项目，则用户需要连续地执 行拖动或轻弹操作几次以到达期望的列表项目，这对于用户来说是不方便的。 如果用户想要慢速地检查列表项目，则用户需要用手指触摸触摸屏的一个点， 然后，以与其相应的速度慢速地移动手指。特别地，在具有小显示器的装置 （例如，移动终端）的情况下，由于触摸屏需要用作触摸输入单元和显示单 元二者，所以屏幕会经常被手指覆盖或阻挡。

以上信息作为背景信息被提供，仅用于帮助理解本公开。关于以上描述 中的任何内容是否可用作关于本公开的现有技术，没有确定且没有断言。

发明内容

本公开的各方面将至少解决上述问题和/或缺点，并将至少提供下述优 点。因此，本公开的一个方面是提供一种允许用户通过简单的操纵更加方便 地滚动屏幕的方法。

本公开的另一个方面是提供一种用于在视觉滚动模式（vision scroll  mode）或运动滚动模式中防止非故意的的滚动错误的方法。

根据本公开的一个方面，提供一种基于情境感知的屏幕滚动方法。所述 方法包括：检测关于终端的周围环境的信息；基于周围环境来设置屏幕滚动 模式；检测与设置的屏幕滚动模式相应的事件的发生；以及根据发生的事件 来执行屏幕滚动。

屏幕滚动模式可包括基于相机模块的视觉滚动模式、基于传感器模块的 运动滚动模式、以及基于输入/输出模块的语音滚动模式中的至少一个。

屏幕滚动可包括向上滚动、向下滚动、向右滚动和向左滚动中的至少一 种。

检测关于周围环境的信息的步骤可包括：确定终端是否被固定，或者确 定终端的环境照度是否大于或等于阈值。

检测关于周围环境的信息的步骤可包括：确定终端是否与外围装置物理 上连接，或者确定终端是否无人看管。

如果终端被固定，则可设置视觉滚动模式，并且，如果终端未被固定， 则可设置运动滚动模式。

如果终端的环境照度大于或等于阈值，则可设置视觉滚动模式，并且， 如果终端的环境照度小于阈值，则可设置运动滚动模式。

如果终端被固定或者终端的环境照度大于或等于阈值，则可设置视觉滚 动模式，并且，如果终端的环境照度小于阈值，则可设置运动滚动模式。

检测事件的发生的步骤可包括：确定从由相机模块捕获的图像是否检测 到预登记的被摄体；以及确定在连续地捕获的图像中检测到的被摄体的位置 变化是否超过阈值。

登记的被摄体可以是脸部。

检测事件的发生的步骤可包括：确定从由相机模块捕获的图像是否检测 到预登记的被摄体；以及确定终端的位置或角度的变化是否超过阈值。

基于情境感知的屏幕滚动方法还可包括：如果终端沿向着位置变化之前 的初始位置或初始角度位置的方向移动或倾斜，则停止屏幕滚动。

检测事件的发生的步骤可包括：检测图像中的脸部；从检测到的脸部检 测包括鼻子的关注区域（interest region）；以及根据关注区域的移动方向来检 测关注区域的移动状态，其中，根据关注区域的移动状态来执行屏幕滚动。

图像可以是未被图像信号处理器（ISP）处理的图像。

图像可以是向下采样的单色或灰度图像。

基于情境感知的屏幕滚动方法还可包括：确定图像中的脸部是否位于屏 幕的最佳区域中；以及如果图像中的脸部不位于屏幕的最佳区域中，则输出 指导信息。

最佳区域的中心可以沿远离相机模块的方向与屏幕的中心分隔开。

如果关注区域处于停止状态，则可在一段时间内或者在若干图像帧的期 间保持停止状态。

如果在一段时间内或者在若干图像帧的期间关注区域被移动和停止，则 可确定关注区域的移动状态。

在一段时间内或者在若干图像帧的期间保持关注区域的停止状态之后， 如果在一段时间内或者在若干图像帧的期间关注区域被移动和停止，则可确 定关注区域的移动状态。

用于确定关注区域的当前移动状态的阈值可根据在前面移动状态下关注 区域的位置变化来被动态地改变。

用于确定关注区域的当前移动状态的阈值可根据位置变化的范围中的在 前面移动状态下关注区域的位置变化所属的范围来被确定。

当前移动状态和前面移动状态可处于相反的方向。

根据本公开的另一个方面，提供一种用于提供基于情境感知的屏幕滚动 的终端。所述终端包括：显示单元，被配置为提供屏幕；以及控制器，被配 置为：检测关于终端的周围环境的信息，基于周围环境来设置屏幕滚动模式， 检测与设置的屏幕滚动模式相应的事件的发生，并且根据发生的事件来执行 屏幕滚动。

终端还可包括：相机模块，被配置为输出捕获的图像，其中，如果从捕 获的图像检测到登记的被摄体，则控制器执行屏幕滚动。

控制器可确定在由相机模块连续地捕获的图像中检测到的被摄体的位置 变化是否超过阈值。

终端还可包括：传感器模块，用于检测终端的位置或角度的变化，其中， 控制器确定终端的位置或角度的变化是否超过阈值。

登记的被摄体可以是脸部。

终端还可包括：输入/输出模块，用于检测用户的语音，其中，屏幕滚动 模式包括基于相机模块的视觉滚动模式、基于传感器模块的运动滚动模式、 以及基于输入/输出模块的语音滚动模式中的至少一个。

根据本公开的又一个方面，提供一种用于提供基于情境感知的屏幕滚动 的终端。所述终端包括：显示单元，被配置为提供屏幕；相机模块，被配置 为输出捕获的图像；以及控制器，被配置为：确定从捕获的图像是否检测到 脸部，并且，如果从捕获的图像检测到脸部，则检测终端的倾斜并基于终端 的倾斜方向来执行屏幕滚动。

如果终端的倾斜角度大于或等于阈值，则控制器可执行屏幕滚动。

如果终端向前倾斜，则控制器可向上滚动屏幕，并且，如果终端向后倾 斜，则控制器可向下滚动屏幕。

如果终端沿与倾斜方向相反的方向倾斜，则控制器可停止屏幕滚动。

如果终端以阈值角度或更大的角度沿与倾斜方向相反的方向倾斜，则控 制器可停止屏幕滚动。

通过结合附图公开了本公开的各种实施例的以下详细描述，本公开的其 他方面、优点和显著特征对本领域的技术人员将变得明显。

附图说明

通过结合附图进行的以下描述，本公开的特定实施例的以上和其他方面、 特征和优点将更加清楚，其中：

图1是示出根据本公开的实施例的移动终端的示意性框图；

图2是根据本公开的实施例的移动终端的前侧透视图；

图3是根据本公开的实施例的移动终端的后侧透视图；

图4是示出根据本公开的实施例的基于情境感知的屏幕滚动方法的流程 图；

图5示出根据本公开的第一实施例的滚动模式设置方法；

图6示出根据本公开的第二实施例的滚动模式设置方法；

图7示出根据本公开的第三实施例的滚动模式设置方法；

图8示出根据本公开的第四实施例的滚动模式设置方法；

图9示出根据本公开的第五实施例的滚动模式设置方法；

图10示出根据本公开的第六实施例的滚动模式设置方法；

图11A、11B、11C、12A、12B、12C、13A、13B和13C示出根据本公开的 实施例的屏幕滚动的示例；

图14是示出根据本公开的第一实施例的视觉滚动模式中的屏幕滚动方 法的流程图；

图15A和15B示出根据本公开的第一实施例的视觉滚动模式中的屏幕滚 动方法；

图16示出根据本公开的实施例的取决于事件的类型的眼睛的位置变化；

图17是示出根据本公开的第二实施例的视觉滚动模式中的屏幕滚动方 法的流程图；

图18是示出根据本公开的第一实施例的运动滚动模式中的屏幕滚动方 法的流程图；

图19和图20示出根据本公开的实施例的移动终端的向前倾斜和向后倾 斜；

图21和图22示出根据本公开的实施例的移动终端的向左倾斜和向右倾 斜；

图23是示出根据本公开的第二实施例的运动滚动模式中的屏幕滚动方 法的流程图；

图24是示出根据本公开的第三实施例的视觉滚动模式中的屏幕滚动方 法的流程图；

图25A和25B示出根据本公开的第三实施例的视觉滚动模式中的屏幕滚 动方法；

图26是示出根据本公开的实施例的关注区域确定操作的操作的流程图；

图27A、图27B、图28A、图28B和图29示出根据本公开的实施例的关 注区域确定操作的操作；

图30是示出根据本公开的实施例的跟踪关注区域并确定关注区域的状 态的变化的操作的流程图；

图31A、图31B和图32示出根据本公开的实施例的关注区域的状态的变 化；

图33A和图33B示出根据本公开的实施例的用于沿相同方向的状态变化 的向下状态阈值的动态分配；以及

图34示出根据本公开的实施例的用于沿不同方向的状态变化的向下状 态阈值的动态分配。

在所有的附图中，相同的附图标记被理解为表示相同的部分、组件和结 构。

具体实施方式

参照附图的以下描述被提供用于帮助全面理解由权利要求及其等同物限 定的本公开的各种实施例。以下描述包括各种具体细节以帮助所述理解，但 是这些具体细节将仅被视为示例。因此，本领域的普通技术人员将认识到， 在不脱离本公开的范围和精神的情况下，可进行在此描述的各种实施例的各 种改变和修改。另外，为了清晰和简明，可省略公知功能和构造的描述。

以下描述和权利要求中使用的术语和词语不限于书面含义，而仅由发明 人用来实现本公开的清楚且一致的理解。因此，本领域的技术人员应清楚， 本公开的各种实施例的以下描述仅被提供用于说明目的而不用于限制由权利 要求及其等同物限定的本公开的目的。

应理解，单数形式包括复数指示物，除非上下文清楚地指出并非如此。 因此，例如，参照“组件表面”包括参照这种表面中的一个或多个。

术语“基本上”是指，记载的特性、参数或值不需要被精确地实现，但 是，可出现偏差或变化（包括，例如，公差、测量误差、测量精度限制和本 领域的技术人员所知的其他因素），这些偏差或变化的量不妨碍特性所意图提 供的效果。

在本公开中，终端可以是被装备有触摸屏的任何装置，并且，终端可以 被称为便携式终端、移动终端、通信终端、便携式通信终端、便携式移动终 端等。

例如，终端可以是智能电话、蜂窝电话、游戏机、电视机（TV）、显示装 置、汽车主机（car head unit）、笔记本计算机、膝上型计算机、平板计算 机、个人多媒体播放器（PMP）、个人数字助理（PDA）等中的至少一个。终端 可以被实现为具有无线通信功能的袖珍型便携式通信终端。此外，终端可以 是柔性装置（flexible device）或者柔性显示装置。

终端的典型配置可以与蜂窝电话的配置相对应，并且，在终端的典型配 置中，根据需要，可以省略或改变一些组件。

图1是示出根据本公开的实施例的移动终端的示意性框图。

参照图1，移动终端100可以使用通信模块120、连接器165和耳机插孔 167中的至少一个与外部电子装置（未示出）连接。电子装置可以包括各种 装置（例如，耳机、外部扬声器、通用串行总线（USB）存储器、充电器、通 讯座/基座、数字多媒体广播（DMB）天线、与移动支付相关的装置、健康护 理装置（例如，血糖仪等）、游戏机和汽车导航装置等）中的任何装置，这些 装置中的每个都可（例如，通过线缆）与移动终端100可拆卸地连接。另外， 电子装置可以包括蓝牙装置、近场通信（NFC）装置、WiFi直连装置、无线 接入点（AP）等中的至少一个，这些装置全部都可与移动终端100无线地连 接。移动终端100可与另一个移动终端或任何电子装置（例如，蜂窝电话、 智能电话、平板个人计算机（PC）、桌面型PC、服务器等）有线或无线地连 接。

移动终端100可包括至少一个触摸屏190和至少一个触摸屏控制器195。 此外，移动终端100可包括控制器110、通信模块120、多媒体模块140、相 机模块150、输入/输出（I/O）模块160、传感器模块170、存储单元175和 电源180。

通信模块120可包括移动通信模块121、子通信模块130、以及广播和通 信模块141。

子通信模块130可包括无线局域网（WLAN）模块131和短距离通信模块 132中的至少一个，并且，多媒体模块140可包括音频播放模块142和视频 播放模块143中的至少一个。相机模块150可包括第一相机151和第二相机 152中的至少一个。此外，取决于移动终端100的主要目的，移动终端100 的相机模块150可包括以下项中的至少一个：用于第一相机151和/或第二相 机152的推近/拉远的镜筒（barrel）155、用于控制镜筒155的推近/拉远运 动的电机154、以及用于提供用于拍摄的光源的闪光灯153。I/O模块160可 包括按钮161、麦克风162、扬声器163、振动装置164、连接器165和键区 166中的至少一个。

控制器110可包括中央处理单元（CPU）111、存储用于控制移动终端100 的控制程序的只读存储器（ROM）112、以及临时地存储从移动终端100的外 部接收的信号或数据或者被用作用于在移动终端100中执行的操作的工作区 的随机存取存储器（RAM）113。CPU111可包括单核CPU、双核CPU、三核CPU 或四核CPU。CPU111、ROM112和RAM113可通过内部总线相互连接。

控制器110可控制通信模块120、多媒体模块140、相机模块150、I/O 模块160、传感器模块170、存储单元175、电源180、触摸屏190和触摸屏 控制器195。

控制器100可检测当在触摸屏190上显示多个对象或项目的同时用户输 入部件（例如，输入单元168、用户的手指等）触摸、接近或位于靠近任何 一个对象时产生的用户输入，并且，在发生用户输入的情况下，控制器110 可以识别与触摸屏190上的位置相应的对象。通过触摸屏190进行的用户输 入可以包括通过直接触摸对象进行的直接触摸输入以及通过在识别距离内接 近对象而不是直接触摸对象进行的悬停输入或间接触摸输入中的至少一个。 例如，如果输入单元168位于靠近触摸屏190时，则可选择垂直地位于输入 单元168的下方的对象。除了通过触摸屏190进行的用户输入以外，本公开 中的用户输入还可包括通过相机模块150进行的手势输入、通过按钮161或 键区166进行的开关/按钮输入、以及通过麦克风162进行的语音输入。

显示在移动终端100的触摸屏190上或者可被显示在该触摸屏190上的 对象或项目（或者功能项目）可以表示（例如）应用、菜单、文档、窗口小 部件、照片、视频、电子邮件、短消息服务（SMS）消息、多媒体消息服务（MMS） 消息等中的至少一个，并且可通过用户输入部件来被选择、执行、删除、取 消、存储或改变。项目可被解释为包括按钮、图标（或者，快捷方式图标）、 缩略图图像、或者移动终端100可以在其中存储至少一个对象的文件夹。项 目可按照图像、文本等的形式被显示。

快捷方式图标是在移动终端100的触摸屏190上显示的用于快速地执行 相关应用的图像，或者是移动终端100中默认提供的呼叫、联系人号码、菜 单等的图像，并且，如果输入用于执行快捷方式图标的命令或选择，则可执 行其相关应用。

随着输入部件接近触摸屏190或位于靠近触摸屏190，控制器110可检 测用户输入事件，例如，悬停事件。在实施例中，控制器110通过从输入单 元168接收到的信令来检测用户输入。

如果对于项目发生了用户输入事件，则控制器100可操作或执行与用户 输入事件相应的程序。

控制器110可以将控制信号输出到输入单元168或振动装置164。控制 信号可包括关于振动模式的信息，并且，输入单元168或振动装置164可产 生与振动模式相应的振动。关于振动模式的信息可表示振动模式自身、振动 模式的标识符等。另外，控制信号可只包括对产生振动的请求。

根据其性能，移动终端100可包括移动通信模块121、WLAN模块131和 短距通信模块132中的至少一个。

在控制器110的控制下，移动通信模块121可使用一根或多根天线（未 示出）通过移动通信将移动终端100与外部电子装置连接。移动通信模块121 可向蜂窝电话（未示出）、智能电话（未示出）、平板PC（未示出）或另一个 电子装置（未示出）发送用于语音呼叫、视频呼叫、SMS消息、MMS消息等的 无线信号，并且，可从蜂窝电话（未示出）、智能电话（未示出）、平板PC（未 示出）或另一个电子装置（未示出）接收用于语音呼叫、视频呼叫、SMS消 息、MMS消息等的无线信号。在实施例中，任何这样的装置或者所有这样的 装置的电话号码可以被输入或登记在移动终端100中。

子通信模块130可包括WLAN模块131和短距离通信模块132中的至少一 个。例如，子通信模块130可包括WLAN模块131和短距离通信模块132中的 任何一个或两个。

在控制器110的控制下，WLAN模块131可在安装无线AP（未示出）的位 置访问互联网。WLAN模块131可支持由电气和电子工程师协会（IEEE）定义 的WLAN标准IEEE802.11x。在控制器110的控制下，短距离通信模块132可 使得在移动终端100和外部电子装置之间进行无线短距离通信。短距离通信 方案可包括蓝牙、红外数据协会（IrDA）、WiFi直连、NFC等。

通过子通信模块130，控制器110可以将与振动模式相应的控制信号发 送到输入单元168。

广播和通信模块141可在控制器110的控制下通过广播和通信天线（未 示出）接收从广播站发送的广播信号（例如，TV广播信号、无线电广播信号 或者数据广播信号）和附加广播信息（例如，电子节目指南（EPG）或者电子 服务指南（ESG））。

多媒体模块140可包括音频播放模块142或视频播放模块143。音频播 放模块142可在控制器110的控制下播放存储在存储单元175中或者从移动 终端100的外部接收到的数字音频文件（具有例如mp3、wma、ogg或wav的 文件扩展名）。视频播放模块143可在控制器110的控制下播放存储在存储单 元175中或者从移动终端100的外部接收到的数字视频文件（具有例如mpeg、 mpg、mp4、avi、mov或mkv的文件扩展名）。

多媒体模块140可被合并到控制器110中。

相机模块150可包括第一相机151和第二相机152中的至少一个，其中， 第一相机151和第二相机152可在控制器110的控制下捕获或拍摄静止图像 或视频。另外，相机模块150可包括用于执行用来拍摄被摄体的推近/拉远的 镜筒155、用于控制镜筒155的移动的电机154、以及用于提供拍摄被摄体所 需的二次光源的闪光灯153中的至少一个。第一相机151可被设置在移动终 端100的前面，并且，第二相机152可被设置在移动设备100的后面。

第一相机151和第二相机152均可包括透镜系统、图像传感器等。第一 相机151和第二相机152均可将通过透镜系统接收（或者，捕获）到的光图 像信号转换为电图像信号（或者，数字图像），并将电图像信号输出到控制器 110，并且，用户可使用第一相机151和第二相机152来捕获视频或静止图像。

I/O模块160可包括以下项中的至少一个：至少一个按钮161、至少一个 麦克风162、至少一个扬声器163、至少一个振动装置164、连接器165、键 区166、耳机插孔167和输入单元168。I/O模块160并不限于这些组件，并 且，可包括用来控制触摸屏190上的光标的移动的控制装置，例如，鼠标、 轨迹球、操纵杆或光标箭头键。

至少一个按钮161可被形成在移动终端100的壳体（或壳罩）的前面、 侧面或后面，并且可包括电源/锁定按钮、音量按钮、菜单按钮、主屏幕按钮、 返回按钮和搜索按钮等中的至少一个。

麦克风162可在控制器110的控制下通过接收或拾取语音或声音来产生 电音频信号。扬声器163可在控制器110的控制下将与各种信号或数据（例 如，无线数据、广播数据、数字音频数据、数字视频数据等）相应的声音输 出到移动终端100的外部。扬声器163可输出与由移动终端100执行的功能 相应的声音（例如，呼叫按钮操作音、回铃音、对方的语音等）。一个或多个 扬声器163可被形成在移动终端100的壳体的一个或多个位置处。

振动装置164可在控制器110的控制下将电信号转换为机械振动。例如， 振动模式中的移动终端100可使得振动装置164能够在接收到来自另一个装 置（未示出）的语音或视频呼叫时进行操作。一个或多个振动装置164可被 形成在移动终端100的壳体中。振动装置164可响应于通过触摸屏190进行 的用户输入来进行操作。

连接器165可被用作用于将移动终端100连接到外部电子装置（未示出） 或电源（未示出）的接口。通过与连接器165连接的有线线缆，控制器110 可将在移动终端100的存储单元175中存储的数据发送到外部电子装置或者 从外部电子装置接收数据。通过与连接器165连接的有线线缆，移动终端100 可从电源接收电力或者用电源对其可充电电池（未示出）进行充电。

键区166可从用户接收键输入以便控制移动终端100。键区166可包括 被形成在移动终端100上的物理键区（未示出）或者在触摸屏190上显示的 虚拟键区（未示出）。取决于移动终端100的性能或结构，在移动终端100上 形成的物理键区可以是可任选的。

耳机（未示出）可被插入到耳机插孔167中并与移动终端100连接。

输入单元168可在被插入移动终端100中之后保持在移动终端100的内 部，并且可在移动终端100的使用期间从移动终端100拉出或分离。响应于 输入单元168的附接/拆卸而操作的附接/拆卸检测开关169可被安装在插入 了输入单元168的移动终端100的内部的特定区域中，并且，附接/拆卸检测 开关169可将与输入单元168的附接/拆卸相应的信号输出到控制器110。附 接/拆卸检测开关169可被配置为当输入单元168被插入在移动终端100中时 与输入单元168直接/间接接触。基于其是否与输入单元168接触，附接/拆 卸检测开关169可产生与输入单元168的附接/拆卸相应的信号（例如，用于 通知输入单元168的附接/拆卸的信号），并且，将产生的信号输出到控制器 110。

传感器模块170可包括用于检测移动终端100的状态的至少一个传感器。 例如，传感器模块170可包括以下项中的至少一个：用于检测用户是否接近 移动终端100的接近传感器、用于检测移动终端100周围的光量的照度传感 器、用于检测移动终端100的旋转运动的陀螺仪、用于检测移动终端100的 加速运动的加速计、用于检测移动终端100的运动（例如，旋转、加速或振 动）的运动传感器、用于使用地球的磁场检测移动终端100的“罗盘的点” 的地磁传感器、用于检测重力的方向的重力传感器、用于通过测量大气压来 检测高度的高度计、全球定位系统（GPS）模块157等。

另外，传感器模块170可包括第一距离/生物传感器和第二距离/生物传 感器（未示出）。

第一距离/生物传感器可被设置在移动终端100的前面，并且，可包括第 一红外光源和第一红外相机。第一红外光源可输出红外线，并且，第一红外 相机可检测从被摄体反射的红外线。例如，第一红外光源可由矩阵结构的发 光二极管（LED）阵列构成。

例如，第一红外相机可包括用于使红外线通过并阻挡除红外线的波长带 以外的波长带的滤波器、用于使通过滤波器的红外线聚焦的透镜系统、以及 用于将由透镜系统形成的光图像转换为电图像信号的图像传感器。例如，图 像传感器可由矩阵结构的光电二极管（PD）阵列构成。

第二距离/生物传感器可被设置在移动终端100的后面。第二距离/生物 传感器可具有与第一距离/生物传感器的结构基本上相同的结构，并且，可包 括第二红外光源和第二红外相机。

GPS模块157可从地球轨道中的多个GPS卫星（未示出）接收无线电波， 并且，基于无线电波从GPS卫星到移动终端100的到达时间（ToA）来计算移 动终端100的位置。

存储单元175可在控制器110的控制下存储根据通信模块120、多媒体 模块140、相机模块150、I/O模块160、传感器模块170或触摸屏190的操 作输入/输出的信号或数据。存储单元175可存储用于控制移动终端100或控 制器110的控制程序、以及各种应用。

术语“存储单元”可指任何数据存储装置，例如，存储单元175、控制 器110中的ROM112或RAM113，或安装在移动终端100中的存储卡（例如， 安全数字（SD）卡、记忆棒等）。存储单元175可包括非易失性存储器、易失 性存储器、硬盘驱动器（HDD）、固态驱动器（SSD）等。

存储单元175可存储各种应用（例如，导航、视频呼叫、游戏、基于时 间的警报应用等）、用于提供与应用相关的图形用户界面（GUI）的图像、用 户信息、文档、数据库或与基于情境感知的屏幕滚动方法相关的数据、文件、 背景图像（用于菜单屏幕、待机屏幕等）或者驱动移动终端100所需的操作 程序、以及由相机模块150捕获的图像。

此外，存储单元175可存储用于执行根据本公开的实施例的基于情境感 知的屏幕滚动方法的程序和相关数据。

存储单元175可以是机器（例如，计算机）可读介质，并且，术语“机 器可读介质”可被定义为提供数据给机器使得该机器可执行特定功能的介质。 存储单元175可包括非易失性介质和易失性介质。所有的介质应该被配置为 使得可通过用机器读出命令的物理机构来检测由介质承载的命令。

机器可读介质可包括，但不限于，软盘、柔性盘、硬盘、磁带、压缩盘 只读存储器（CD-ROM）、光盘、打孔卡、纸带、RAM、可编程只读存储器（PROM）、 可擦除PROM（EPROM）和FLASH-EPROM中的至少一个。

电源180可在控制器110的控制下向在移动终端100的壳体中安装的一 个或多个可充电电池供电。一个或多个可充电电池可向移动终端100供电。 电源180可通过与连接器165连接的有线线缆将从外部电源接收到的电力供 应给移动终端100。电源180还可通过无线充电技术将从外部电源无线地接 收到的电力供应给移动终端100。

移动终端100可包括为用户提供与各种服务（例如，呼叫、数据发送、 广播、拍摄等）相应的GUI的至少一个触摸屏190。

触摸屏190可将与输入到GUI的至少一个用户输入相应的模拟信号输出 到触摸屏控制器195。

触摸屏190可通过用户的身体（例如，包括拇指的手指）或输入单元168 （例如，触笔、电子笔等）接收至少一个用户输入。

触摸屏190可接收一次触摸（即，拖动输入）的连续运动。触摸屏190 可将与接收到的触摸的连续运动相应的模拟信号输出到触摸屏控制器195。

在本公开的实施例中，触摸可不仅包括触摸屏190与手指或输入部件之 间的接触触摸（或者直接触摸），还包括如果用户输入部件位于触摸屏190上 方的识别距离（例如，5cm）内则被检测到的非接触触摸（或者间接触摸）， 其中，在识别距离处触摸屏190可在没有直接接触的情况下检测用户输入部 件。触摸屏190可识别用户输入部件的距离或间隙根据移动终端100的性能 或结构进行改变。触摸屏190可被配置为分开地检测触摸屏190和用户输入 部件之间的直接触摸事件和间接触摸事件（即，悬停事件），以便不同地输出 通过直接触摸事件和悬停事件检测到的值（例如，模拟电压值、电流值等）。

例如，触摸屏190可按照电阻型、电容型、红外型、声波型或其组合来 实现。

触摸屏190可包括能够分别检测输入部件（例如，手指输入和笔输入） 的至少两个触摸屏面板，从而使得可分开地检测通过无源型第一用户输入部 件（例如，身体部位，例如，手指）进行的输入（即，手指输入）和通过作 为有源型第二用户输入部件的输入单元168进行的输入（即，笔输入）。无源 型用户输入部件和有源型用户输入部件可根据用户输入部件是否可产生或感 应电磁波、无线电波等的能量来进行区分。所述至少两个触摸屏面板可提供 不同的输出值给触摸屏控制器195，并且，触摸屏控制器195可不同地识别 从至少两个触摸屏面板接收到的值，并确定来自触摸屏190的输入是通过手 指进行的输入还是通过输入单元168进行的输入。例如，触摸屏190可具有 电容型触摸屏面板和电磁共振（EMR）型触摸屏面板的组合结构。如上所述， 由于触摸屏190可被配置为包括触摸键（例如，菜单按钮161b和后退按钮 161c），所以在本公开中提及的手指输入或者在触摸屏190上的手指输入可包 括在这些触摸键上的触摸输入。

触摸屏控制器195可将从触摸屏190接收到的模拟信号转换为数字信号， 并且将数字信号提供给控制器110。控制器110可使用从触摸屏控制器195 接收到的数字信号来控制触摸屏190。例如，控制器110可响应于直接触摸 事件或悬停事件来使得在触摸屏190上显示的对象和快捷方式图标（未示出） 被选择或执行。触摸屏控制器195可以被合并到控制器110中。

触摸屏控制器195可通过检测从触摸屏190输出的值（例如，电流值等） 不仅确定用户输入位置还确定悬停间隙或距离，将确定的距离值转换为数字 信号（例如，Z坐标），并且将数字信号提供给控制器110。另外，触摸屏控 制器195可通过检测从触摸屏190输出的值（例如，电流值等）确定用户输 入部件按压触摸屏190的压力，将确定的压力值转换为数字信号，并且将该 数字信号提供给控制器110。

图2是根据本公开的实施例的移动终端的前侧透视图，并且，图3是根 据本公开的实施例的移动终端的后侧透视图。

参照图2和图3，触摸屏190被置于移动终端100的前面101的中心。 触摸屏190可被形成得足够大，以占用移动终端100的前面101的大部分。 在图2的示例中，在触摸屏190上显示首要主屏幕。首要主屏幕可以是当移 动终端100被通电时在触摸屏190上显示的第一屏幕。如果移动终端100具 有几页不同的主屏幕，则首要主屏幕可以是几页主屏幕中的第一主屏幕。在 主屏幕上，可显示用于执行被频繁使用的应用的快捷方式图标191-1、191-2 和191-3、“切换到主菜单”键（或者主菜单键）191-4、当前时间、天气等。 如果用户选择“切换到主菜单”键191-4，则菜单屏幕可被显示在触摸屏190 上。在触摸屏190的顶部，可形成或显示指示移动终端100的状态（例如， 电池电量、接收到的信号强度和当前时间）的状态条192。屏幕可对应于触 摸屏190的表面或者在该表面上显示的图像。

在触摸屏190的下方，可形成触摸键或机械按钮（例如，主屏幕按钮161a、 菜单按钮161b和后退按钮161c）或其组合。触摸键可被配置为触摸屏190 的一部分。

主屏幕按钮161a可用来在触摸屏190上显示主屏幕。例如，如果当在触 摸屏190上显示与首要主屏幕不同的任何主屏幕、或者菜单屏幕的同时选择 主屏幕按钮161a，则可在触摸屏190上显示首要主屏幕。如果当在触摸屏190 上执行一个或多个应用的同时选择主屏幕按钮161a，则可在触摸屏190上显 示图2中示出的首要主屏幕。主屏幕按钮161a可被用来在触摸屏190上显示 最近使用的应用或者显示任务管理器。

菜单按钮161b可被用来提供可在触摸屏190上显示的连接菜单。连接菜 单可包括添加窗口小部件菜单、改变壁纸菜单、搜索菜单、编辑菜单、偏好 菜单，等等。

后退按钮161c可被用来显示在当前屏幕之前的屏幕，或者退出最近使用 的应用。

在移动终端100的前面101的上部上，可设置第一相机151、照度传感 器170a、接近传感器170b和第一距离/生物传感器（未示出）。在移动终端 100的后面103上，可设置第二相机152、闪光灯153、扬声器163和第二距 离/生物传感器（未示出）。

例如，在移动终端100的侧面102上，可设置电源/锁定按钮161d、具 有音量提高按钮161f和音量降低按钮161g的音量按钮161e、用于广播接收 的地面DMB天线141a、以及一个或多个麦克风162。DMB天线141a可被形成 为可拆卸地固定到移动终端100。

连接器165可被形成在移动终端100的底侧。多个电极可被形成在连接 器165中并通过线缆被连接到外部装置。耳机插孔167可被形成在移动终端 100的顶侧。耳机（未示出）可被插入耳机插孔167中。

输入单元168可被安装在移动终端100的底侧。输入单元168可在被插 入移动终端100之后保持在移动终端100的内部，并且可在其使用期间从移 动终端100拉出或分离。

控制器110可控制移动终端100的全部操作。根据本公开的实施例，控 制器110可控制移动终端100中的其它组件，以执行基于情境感知的屏幕滚 动方法。

图4是示出根据本公开的实施例的基于情境感知的屏幕滚动方法的流程 图。

基于情境感知的屏幕滚动方法可包括操作S110至S170。

参照图4，用户可通过触摸在触摸屏190上显示的各种图标中的图标来 在操作S110中或者在应用执行操作中执行被映射到他/她的期望图标的应 用。

控制器110可通过I/O模块160、触摸屏190、相机模块150或通信模块 120接收用户输入。用户可通过I/O模块160或触摸屏190选择按钮161、图 标或菜单项目，通过麦克风162输入语音命令，通过相机模块150进行手势 或运动输入，或者，通过通信模块120无线地输入特定的命令。命令可以是 应用执行命令，并且，应用可以是任何应用，例如，可以是语音识别应用、 日程表管理应用（schedule management application）、文档创建应用、音 乐应用、互联网应用、地图应用、相机应用、电子邮件应用、照片应用、图 像编辑应用、搜索应用、文件搜索应用、视频应用、游戏应用、社交网络服 务（SNS）应用、电话应用、消息应用等。手势或运动输入可以是指，例如， 用手或（一个或多个）手指向着相机模块150绘出图案（例如，圆、三角形、 矩形等）的轨迹的用户的手势或运动。虽然在本实施例中应用被假设响应于 用户输入而被执行，但是应用可响应于事件（例如，消息的接收，呼叫的接 收，警报的发生等）的发生来被自动地执行。

在操作S120或周围环境识别操作中，控制器110可通过相机模块150、 传感器模块170和/或I/O模块160识别或检测用户的周围环境。

周围环境检测结果可被用于在将来设置滚动模式，并且，在本实施例中， 视觉滚动模式和运动滚动模式可作为可选择的滚动模式的示例被给出。视觉 滚动模式可以是指这样的模式，其中，控制器110根据由相机模块150捕获 的被摄体的运动来滚动屏幕。运动滚动模式可以是指这样的模式，其中，控 制器110根据移动终端100的运动来滚动屏幕。另外，语音滚动模式可被认 为是可适用于本公开的滚动模式，并且，语音滚动模式可以是指这样的模式， 其中，控制器110根据由麦克风162检测到的用户的语音来滚动屏幕。

例如，控制器110可通过连接器165来检测移动终端100和外围装置（例 如，基座（dock））之间的物理连接。基座可被用于移动终端100的充电、固 定和PC连接。

控制器110可通过相机模块150或传感器模块170来检测环境照度。

控制器110可通过第一相机151或照度传感器170a来检测前面照度，并 且，通过第二相机152来检测后面照度。

在操作S130或滚动模式设置操作中，控制器110可基于周围环境识别结 果来设置滚动模式。

控制器110可确定移动终端100是否被固定。如果移动终端100被固定， 则控制器100可设置视觉滚动模式，并且，如果移动终端100未被固定，则 控制器100可设置运动滚动模式。

如果移动终端100被固定或安装在基座上，或者在桌子、地板等的表面 上无人看管（即，如果移动终端100在用户没有携带的情况下被固定），则控 制器110可设置视觉滚动模式。词语“无人看管”可以是指这样的状态，其 中，移动终端100既没有被连接到外围装置，也没有被用户携带。例如，当 通过连接器165检测到移动终端100和基座之间的连接时，如果在阈值时间 内通过传感器模块170没有检测到移动终端100的运动，如果前面照度和后 面照度之间的差大于或等于阈值，或者上述两种条件的组合，则控制器110 可设置视觉滚动模式。

在检测环境照度之后，如果环境照度大于或等于阈值，则控制器110可 设置视觉滚动模式，并且，如果环境照度小于阈值，则控制器110可设置运 动滚动模式。换句话说，如果移动终端100的周围环境暗，则控制器110可 设置运动滚动模式。

在确定移动终端100是否被固定之后，如果移动终端100被固定，则控 制器100可设置视觉滚动模式，并且，如果移动终端100未被固定，则控制 器110可检测环境照度。如果环境照度大于或等于阈值，则控制器110可设 置视觉滚动模式，并且，如果环境照度小于阈值，则控制器110可设置运动 滚动模式。

在检测环境照度之后，如果环境照度大于或等于阈值，则控制器110可 设置视觉滚动模式，并且，如果环境照度小于阈值，则控制器110可确定移 动终端100是否被固定。如果移动终端100被固定，则控制器100可设置语 音滚动模式，并且，如果移动终端100未被固定，则控制器100可设置运动 滚动模式。

在同时确定移动终端100是否被固定以及移动终端100的照度条件是否 被满足之后，如果移动终端100被固定并且满足照度条件，则控制器110可 设置视觉滚动模式，如果移动终端100被固定并且未满足照度条件，则控制 器100可设置语音滚动模式，如果移动终端未被固定并且满足照度条件，则 控制器100可设置视觉滚动模式，并且，如果移动终端未被固定并且未满足 照度条件，则控制器100可设置运动滚动模式。

在操作S140或者确定事件是否发生的操作中，控制器110可确定对于滚 动模式设置的事件是否发生。如果从由相机模块150捕获的图像检测到被摄 体（例如，眼睛、脸部和手）的运动，则对于视觉滚动模式的事件可发生， 并且，如果移动终端100相对于初始位置或初始角度位置以阈值角度或更大 的角度倾斜，则对于运动滚动模式的事件可发生。如果控制器110通过麦克 风162接收到语音命令，例如，“右”、“左”、“上”、“下”、“向上滚动”、“向 下滚动”、“向右滚动”和“向左滚动”，则对于语音滚动模式的事件可发生。

控制器110可根据多个事件的发生来滚动屏幕。例如，在假设从捕获的 图像检测到被摄体的情况下，如果检测到被摄体的运动，或者，如果检测到 移动终端100的运动，则控制器110可滚动屏幕。

在操作S150或者屏幕滚动操作中，控制器110可沿与事件相应的方向滚 动屏幕。

在操作S160或者确定定时器是否期满的操作中，控制器110可通过定期 地（即，每当定时器期满时）识别周围环境来更新滚动模式。当在操作S130 中设置滚动模式的时候可对定时器进行计数或者开始启动定时器，并且，定 时器可在其期满之后被初始化回到初始值（例如，1分钟）。

在操作S170或者确定应用是否被终止的操作中，控制器110可确定应用 是否被终止。如果应用被终止，则控制器110可结束基于情境感知的屏幕滚 动方法，并且，如果应用未被终止，则控制器可重复操作S140。

图5示出根据本公开的第一实施例的滚动模式设置方法。根据本实施例 的滚动模式设置操作可替代图4中的操作S130。因此，滚动模式设置操作被 标记为S130a，以指示用于实现滚动模式设置操作的选项。

参照图5，控制器110可在操作S210或者确定移动终端100是否被固定 的操作中确定移动终端100是否被固定。在实施例中，控制器110可以通过 连接器165、相机模块150、传感器模块170或其组合来确定移动终端100是 否被固定。

在操作S220或设置视觉滚动模式的操作中，如果移动终端100被固定， 则控制器110可设置视觉滚动模式。

在操作S230或设置运动滚动模式的操作中，如果移动终端100未被固定， 则控制器110可设置运动滚动模式。

图6示出根据本公开的第二实施例的滚动模式设置方法。根据本实施例 的滚动模式设置操作可替代图4中的操作S130。因此，滚动模式设置操作被 标记为S130b，以指示用于实现滚动模式设置操作的另一个选项。

参照图6，控制器110可在操作S310或者确定是否满足照度条件的操作 中比较环境照度。在实施例中，控制器110可将由相机模块150或传感器模 块170检测到的环境照度与阈值进行比较。可基于与环境照度的变化相应的 被摄体识别成功率来确定阈值。例如，被摄体识别成功率为70%的环境照度 可以被设置为阈值。

在操作S320或设置视觉滚动模式的操作中，如果环境照度大于或等于阈 值，则控制器110可设置视觉滚动模式。

在操作S330或设置运动滚动模式的操作中，如果环境照度小于阈值，则 控制器110可设置运动滚动模式。

图7示出根据本公开的第三实施例的滚动模式设置方法。根据本实施例 的滚动模式设置操作可替代图4中的操作S130。因此，滚动模式设置操作被 标记为S130c，以指示用于实现滚动模式设置操作的另一个选项。

参照图7，控制器110可在操作S410或者确定移动终端100是否被固定 的操作中确定移动终端100是否被固定。在实施例中，控制器110可以通过 连接器165、相机模块150、传感器模块170或其组合来确定移动终端100是 否被固定。

在操作S420或者确定是否满足照度条件的操作中，如果移动终端100 未被固定，则控制器110可将由相机模块150或传感器模块170检测到的环 境照度与阈值进行比较。

在操作S430或设置运动滚动模式的操作中，如果移动终端100未被固定， 并且，环境照度小于阈值，则控制器110可设置运动滚动模式。

在操作S440或设置视觉滚动模式的操作中，如果移动终端100被固定， 则控制器110可设置视觉滚动模式。

图8示出根据本公开的第四实施例的滚动模式设置方法。根据本实施例 的滚动模式设置操作可替代图4中的操作S130。因此，滚动模式设置操作被 标记为S130d，以指示用于实现滚动模式设置操作的另一个选项。

参照图8，控制器110可在操作S510或者确定是否满足照度条件的操作 中比较环境照度。在实施例中，控制器110可将由相机模块150或传感器模 块170检测到的环境照度与阈值进行比较。

在操作S520或者确定移动终端100是否被固定的操作中，如果环境照度 小于阈值，则控制器110可通过连接器165、相机模块150、传感器模块170 或其组合来确定移动终端100是否被固定。

在操作S530或设置视觉滚动模式的操作中，如果环境照度大于或等于阈 值，则控制器110可设置视觉滚动模式。

在操作S540或设置运动滚动模式的操作中，如果环境照度小于阈值，并 且，移动终端100未被固定，则控制器110可设置运动滚动模式。

在操作S550或设置语音滚动模式的操作中，如果环境照度小于阈值，并 且，移动终端100被固定，则控制器110可设置语音滚动模式。

图9示出根据本公开的第五实施例的滚动模式设置方法。根据本实施例 的滚动模式设置操作可替代图4中的操作S130。因此，滚动模式设置操作被 标记为S130e，以指示用于实现滚动模式设置操作的另一个选项。

参照图9，控制器110可在操作S610或者确定移动终端100是否被固定 以及是否满足照度条件的操作中确定移动终端100是否被固定并将由相机模 块150或传感器模块170检测到的环境照度与阈值进行比较。在实施例中， 控制器110可通过连接器165、相机模块150、传感器模块170或其组合来确 定移动终端100是否被固定，并且，将由相机模块150或传感器模块170检 测到的环境照度与阈值进行比较。

在操作S620或设置视觉滚动模式的操作中，不管移动终端100是否被固 定，如果环境照度大于或等于阈值，则控制器110可设置视觉滚动模式。

在操作S630或设置运动滚动模式的操作中，如果移动终端100未被固定， 并且，环境照度小于阈值，则控制器110可设置运动滚动模式。

在操作S640或设置语音滚动模式的操作中，如果移动终端100被固定， 并且，环境照度小于阈值，则控制器110可设置语音滚动模式。

图10示出根据本公开的第六实施例的滚动模式设置方法。根据本实施例 的滚动模式设置操作可替代图4中的操作S130。因此，滚动模式设置操作被 标记为S130f，以指示用于实现滚动模式设置操作的另一个选项。

参照图10，控制器110可在操作S710或者确定移动终端100是否与基 座连接的操作中确定移动终端100是否通过连接器165与基座连接。

在操作S720或者确定移动终端100是否无人看管的操作中，在移动终端 100与基座不连接的情况下，如果在阈值时间内通过传感器模块170没有检 测到移动终端100的运动，或者，如果在前面照度和后面照度之间的差大于 或等于阈值，则控制器110可确定移动终端100在桌子、地板等表面上无人 看管。

在操作S730或者确定是否满足照度条件的操作中，如果移动终端100 与基座不连接并且不是无人看管，则控制器110可将由相机模块150或传感 器模块170检测到的环境照度与阈值进行比较。

在操作S740或者设置视觉滚动模式的操作中，如果移动终端100与基座 连接，如果移动终端100无人看管，或者，如果满足照度条件，则控制器110 可设置视觉滚动模式。

在操作S750或者设置运动滚动模式的操作中，如果移动终端100与基座 不连接且并不是无人看管，并且，如果不满足照度条件，则控制器110可设 置运动滚动模式。

本公开的实施例中的屏幕滚动可被分类为当前屏幕的上部向下移动的向 上滚动、当前屏幕的下部向上移动的向下滚动、当前屏幕的左部向右移动的 向左滚动、以及当前屏幕的右部向左移动的向右滚动。

该屏幕滚动可被应用于其部分被显示在一个屏幕上的对象（例如，图像、 网页、菜单和列表）或者被应用于连续的对象（例如，构成主屏幕的多页和 图库中的多个图像）。

图11A至图11C、图12A至图12C以及图13A至图13C示出根据本发明 的实施例的屏幕滚动的示例。

图11A至图11C示出这样的示例，其中，当用户运行电话簿应用时，具 有多个联系人的联系人列表210被显示在触摸屏190上。

参照图11B，联系人列表210（例如，电话簿）的一部分（例如，A5、B1～B4 和C1）被显示在触摸屏190上。

参照图11A，如果用户向上滚动，则联系人列表210的上部（例如，在 屏幕的顶部上的A5）可移动到触摸屏190的下部，从而隐藏的联系人A1～A4可 被显示在触摸屏190上。

参照图11C，如果用户向下滚动，则联系人列表210的下部（例如，在 屏幕的底部上的C1）可移动到触摸屏190的上部，从而隐藏的联系人C2～C5 可被显示在触摸屏190上。

图12A至图12C示出这样的示例，其中，当用户运行互联网应用时，网 页被显示在触摸屏190上。

参照图12B，网页的中部220被显示在触摸屏190上。

参照图12A，如果用户向左滚动，则屏幕的左部可移动到屏幕的右部， 从而，网页的隐藏的左部222可被显示在触摸屏190上。

参照图12C，如果用户向右滚动，则屏幕的右部可移动到屏幕的左部， 从而，网页的隐藏的右部224可被显示在触摸屏190上。

图13A至图13C示出这样的示例，其中，当用户运行照片应用并选择鸟 的照片时，鸟的照片被显示在触摸屏190上。

参照图13B，照片230的中部被显示在触摸屏190上。

参照图13A，如果用户向左滚动，则屏幕的左部可移动到屏幕的右部， 从而，照片230的隐藏的左部可被显示在触摸屏190上。

参照图13C，如果用户向右滚动，则屏幕的右部可移动到屏幕的左部， 从而，照片230的隐藏的右部可被显示在触摸屏190上。

图14是示出根据本公开的第一实施例的视觉滚动模式中的屏幕滚动方 法的流程图，图15A和图15B示出根据本公开的第一实施例的视觉滚动模式 中的屏幕滚动方法。

视觉滚动模式中的屏幕滚动方法可包括操作S810至S850。

参照图14，控制器110可在操作S810或图像接收操作中从相机模块150 接收实时图像。屏幕滚动方法可被应用于被连续地接收到的实时图像或实时 图像帧。

在操作S820或确定登记的被摄体是否被检测到的操作中，控制器110 可确定从图像是否检测到预先登记在移动终端100中的被摄体。可通过将用 于检测被摄体的信息存储在存储单元175中来进行被摄体的登记。登记的被 摄体可以是脸部、手、眼睛、鼻子或其组合。为了防止非故意的的屏幕滚动， 可在用户的身体的至少一个部位被相机模块150捕获的同时发生屏幕滚动。 用于检测被摄体的信息可包括被摄体图像信息、关于被摄体图像的特征点（也 称为特征图像、特征图案等）的信息、脸部学习数据等。这些特征点可以是 边缘、边角、图像图案、轮廓等。

例如，控制器110可确定脸部是否被包括在图像中。可使用普通脸部检 测方法来执行脸部检测，对于普通脸部检测方法，使用脸部检测技术，其基 于脸部的轮廓、脸部皮肤的颜色和/或纹理、模版等。例如，控制器110可通 过执行将登记的被摄体图像的特征点与从输入图像检测到的特征点进行匹配 的处理来检测与登记的被摄体匹配的图像区域（即，检测到的被摄体）。控制 器110可使用多个脸部图像来执行脸部学习，并且基于累积的脸部学习数据 来从输入图像检测脸部。

图15A和图15B示出根据本公开的第一实施例的视觉滚动模式中的屏幕 滚动方法。

参照图15A，示出使用检测到的脸部的滚动方法。在可替换的方案中， 控制器110可确定手、眼睛或鼻子是否被包括在图像中。

在图15A的示例中，控制器110可检测眼睛和/或鼻子。对于眼睛和/或 鼻子的检测可使用特征点匹配、脸部学习数据等来实现。控制器110可检测 眼睛和/或鼻子的位置信息。

参照图15B，示出使用检测到的眼睛310的滚动方法。

控制器110可分别检测左眼的坐标320和右眼的坐标330。眼睛的坐标 可以是瞳孔的中心的X和Y轴坐标。鼻子的坐标可以是鼻尖的X和Y轴坐标。

再次参照图14，控制器可在检测登记的被摄体时执行操作S830，并且， 如果没有检测到登记的被摄体，则控制器可重复操作S810和S820。

在操作S830或跟踪被摄体的操作中，控制器110可跟踪从连续地捕获的 图像检测到的被摄体的运动（即，位置的变化）。例如，控制器110可跟踪从 连续地捕获的图像检测到的被摄体的二维位置的变化，或者，可跟踪被摄体 的姿势（即，三维位置和朝向）。

例如，控制器110可跟踪连续地捕获的图像中的眼睛的位置的累积变化。

在操作S840或者确定事件是否发生的操作中，控制器110可确定对于视 觉滚动模式设置的事件是否发生。为此，控制器110可确定跟踪的被摄体的 的位置的累积变化是否超过阈值。可替换地，控制器110可确定跟踪的被摄 体的运动速度是否超过阈值。

例如，在确定被摄体的运动方向之后，如果沿运动方向的位置的累积变 化超过对于所述运动方向的阈值，则控制器110可确定“向上滚动”、“向下 滚动”、“向右滚动”和“向左滚动”中的任何一个已发生。

图16示出根据本公开的实施例的取决于事件的类型的眼睛的位置变化。

参照图16，参考标号410表示初始眼睛位置，参考标号420表示与向上 滚动事件相应的改变后的眼睛位置，参考标号430表示与向下滚动事件相应 的改变后的眼睛位置，参考标号440表示与向左滚动事件相应的改变后的眼 睛位置，参考标号450表示与向右滚动事件相应的改变后的眼睛位置。

再次参照图14，如果在操作S840中发生了事件，则控制器110可执行 操作S850。否则，如果没有发生事件，则控制器110可重复操作S830。

在操作S850或者屏幕滚动操作中，控制器110可沿与事件相应的方向滚 动屏幕。

图17是示出根据本公开的第二实施例的视觉滚动模式中的屏幕滚动方 法的流程图。在第二实施例中，登记的被摄体将被假设为脸部。

视觉滚动模式中的屏幕滚动方法可包括操作S910至S955。

参照图17，控制器110可在操作S910或图像接收操作中从相机模块150 接收实时图像。屏幕滚动方法可被应用于被顺序地接收或读取的实时图像或 实时图像帧。

在操作S915或确定脸部跟踪模式是否被设置的操作中，如果从前面的图 像帧检测到脸部，则控制器110可确定脸部跟踪模式被设置。如果没有设置 脸部跟踪模式，则控制器110可执行操作S920，并且，如果脸部跟踪模式被 设置，则控制器110可执行操作S935。换句话说，在操作S915中，控制器 110可确定是否预先进行了用于脸部跟踪的脸部检测。

在操作S920或脸部检测操作中，控制器110可从当前图像帧检测脸部。

在操作S925或确定是否有屏幕颤抖的操作中，控制器110可确定在检测 到脸部的图像帧之后的N个图像帧中是否发生了脸部颤抖。换句话说，在操 作S925中，为了将来的脸部跟踪，控制器110可确定屏幕是否处于稳定状态。 如果有屏幕颤抖，则控制器110可重复操作S910，并且，如果没有屏幕颤抖， 则控制器110可执行操作S930。

在操作S930或初始化操作中，控制器110可对在检测到脸部的图像帧之 后的图像帧执行脸部跟踪。控制器110可将检测到脸部的图像帧和关于从图 像帧检测到的脸部的信息（例如，要跟踪的目标的特征点以及特征点的位置） 存储在存储单元175中。

在操作S935或脸部跟踪操作中，控制器110可跟踪捕获的图像帧中的脸 部的运动（例如，位置的变化）。

在操作S940或者确定脸部跟踪是否成功的操作中，控制器110可确定脸 部跟踪是否成功。脸部跟踪失败可指示未能从图像帧检测到脸部。

当脸部跟踪成功时，控制器110可执行操作S945，并且，在脸部跟踪失 败时，控制器110可执行操作S920。

在操作S945或确定事件是否发生的操作中，控制器110可将脸部位置的 累积的变化FA与阈值进行比较。在本实施例中，以举例的方式，尤其的是， 将考虑用于向上滚动事件的第一阈值TH_up和用于向下滚动事件的第二阈值 TH_down。FA可将从脸部的参考位置开始的脸部的向上运动表示为“+”的值， 并且，将脸部的向下运动表示为“-”的值。因此，TH_up可具有“+”的值， 并且，TH_down可具有“-”的值。

对于FA>TH_up，控制器110可执行操作S950，并且，对于FA<TH_down， 控制器110可执行操作S955。

控制器110可在操作S950中向上滚动屏幕并在操作S955中向下滚动屏 幕。

图18是示出根据本公开的第一实施例的运动滚动模式中的屏幕滚动方 法的流程图。

运动滚动模式中的屏幕滚动方法可包括操作S1010至S1070。

参照图18，控制器110可在操作S1010或图像接收操作中从相机模块150 接收实时图像。屏幕滚动方法可被应用于被顺序地接收或读取的实时图像或 实时图像帧。

在操作S1020或确定登记的被摄体是否被检测到的操作中，控制器110 可确定从图像是否检测到预先登记在移动终端100中的被摄体。登记的被摄 体可以是脸部、手、眼睛、鼻子或其组合。

在检测到登记的被摄体时，控制器110可执行操作S1030，并且，当未 能检测到登记的被摄体时，控制器110可重复操作S1010和S1020。

在操作S1030或者跟踪移动终端100的运动的操作中，控制器110可检 测移动终端100的位置、倾斜和姿势的变化。

例如，控制器110可基于检测到脸部的图像帧中的移动终端100的姿势 来跟踪向前倾斜、向后倾斜、向左倾斜和向右倾斜中的至少一个。

在操作S1040或者确定事件是否发生的操作中，控制器110可确定对于 运动滚动模式设置的事件是否发生。控制器110可确定跟踪的移动终端100 的位置或角度的累积变化是否超过阈值。可替换地，控制器110可确定跟踪 的移动终端100的运动或倾斜速度是否超过阈值。

例如，在确定移动终端100的倾斜方向之后，如果沿倾斜方向的角度的 累积变化超过对于所述倾斜方向的阈值，则控制器110可确定“向上滚动”、 “向下滚动”、“向右滚动”和“向左滚动”中的任何一个已发生。

图19和图20示出根据本公开的实施例的移动终端的向前倾斜和向后倾 斜。

参照图19和图20，控制器110可基于移动终端100相对于与移动终端 100的底部相应的点510的初始位置To来将向前角度和向后角度的特定范围 设置为停止范围O。在实施例中，控制器110可将移动终端100进一步向前 倾斜超过停止范围O的角度的范围设置为范围A，并且，可将移动终端100 进一步向前倾斜超过范围A的角度的范围设置为范围B。

另外，控制器110可将移动终端100进一步向后倾斜超过停止范围O的 角度的范围设置为范围C，并且，可将移动终端100进一步向后倾斜超过范 围C的角度的范围设置为范围D。

例如，控制器110可在停止范围O中不执行滚动，在范围A中以速度Va 执行向上滚动，在范围B中以速度Vb(>Va)执行向上滚动，在范围C中以速 度Vc执行向下滚动，并且，在范围D中以速度Vd(>Vc)执行向下滚动。

如作为移动终端100的侧视图的图20所示，控制器110可根据移动终端 100的倾斜速度来确定滚动速度。例如，控制器110可将滚动速度与移动终 端100的倾斜速度成比例地提高。更具体地，控制器110可将移动终端100 的倾斜速度分成多个速度范围，并且，将唯一的滚动速度分配给每一个速度 范围，以非连续地将滚动速度与移动终端100的倾斜速度成比例地提高。例 如，控制器110可在停止范围O中不执行滚动，在范围A和B中以与移动终 端100的倾斜速度成比例的速度执行向上滚动，并且，在范围C和D中以与 移动终端100的倾斜速度成比例的速度执行向下滚动。

图21和图22示出根据本公开的实施例的移动终端的向左倾斜和向右倾 斜。

参照图21和22，移动终端100的侧向倾斜可被分类为以下两种情况： 移动终端100围绕其纵向中心轴520顺时针或逆时针地旋转而中心轴不移动 的情况、移动终端100随着中心轴的移动而相对于其纵向中心轴向左或向右 倾斜的情况。

图21示出移动终端100围绕其纵向中心轴顺时针或逆时针地旋转而中心 轴不移动的情况。

如图21所示，控制器110可基于移动终端100的初始位置To来将顺时 针和逆时针角度的特定范围设置为停止范围O，可将移动终端100进一步顺 时针地旋转超过停止范围O的角度的范围设置为范围A，并且，可将移动终 端100进一步顺时针地旋转超过范围A的角度的范围设置为范围B。

另外，控制器110可将移动终端100进一步逆时针地旋转超过停止范围 O的角度的范围设置为范围C，并且，可将移动终端100进一步逆时针地旋转 超过范围C的角度的范围设置为范围D。

例如，控制器110可在停止范围O中不执行滚动，在范围A中以速度Va 执行向左滚动，在范围B中以速度Vb(>Va)执行向左滚动，在范围C中以速 度Vc执行向右滚动，并且，在范围D中以速度Vd(>Vc)执行向右滚动。

如上所述，控制器110可根据移动终端100的旋转速度来确定滚动速度。

图22示出移动终端100随着中心轴的移动而相对于其纵向中心轴向左或 向右倾斜的情况。

如图22所示，控制器110可基于移动终端100的初始位置To来将向左 和向右角度的特定范围设置为停止范围O，将移动终端100进一步向左倾斜 超过停止范围O的角度的范围设置为范围A，并且，将移动终端100进一步 向左倾斜超过范围A的角度的范围设置为范围B。

另外，控制器110可将移动终端100进一步向右倾斜超过停止范围O的 角度的范围设置为范围C，并且，可将移动终端100进一步向右倾斜超过范 围C的角度的范围设置为范围D。

例如，控制器110可在停止范围O中不执行滚动，在范围A中以速度Va 执行向左滚动，在范围B中以速度Vb(>Va)执行向左滚动，在范围C中以速 度Vc执行向右滚动，并且，在范围D中以速度Vd(>Vc)执行向右滚动。

如上所述，控制器110可根据移动终端100的倾斜速度来确定滚动速度。

再次参照图18，在操作S1050或者屏幕滚动操作中，控制器110可沿与 事件相应的方向滚动屏幕。

在操作S1060或确定停止条件是否发生的操作中，在如下情况下控制器 110可停止屏幕滚动：（i）全屏幕（其一部分被显示在触摸屏190上）的末 端（例如，顶端、底端、左端或右端）被显示；（ii）移动终端100沿向着初 始位置或初始角度位置的方向移动或倾斜；（iii）移动终端100沿与在事件 的发生期间确定的倾斜方法相反的方向倾斜；或者（iv）从当前图像没有检 测到登记的被摄体。为了停止屏幕滚动，控制器110可确定上述停止条件是 否发生。如果停止条件发生了，则控制器110可执行操作S1070，并且，如 果停止条件没有发生，则控制器110可继续屏幕滚动。

在操作S1070或滚动停止操作中，控制器110可停止屏幕滚动。

图23是示出根据本公开的第二实施例的运动滚动模式中的屏幕滚动方 法的流程图。在第二实施例中，以举例的方式，尤其是，将考虑向上滚动和 向下滚动。

参照图23，控制器110可在操作S1110或脸部检测操作中从接收自相机 模块150的实时图像检测脸部。控制器110在其未能从实时图像检测到脸部 时不可执行随后的操作。

在操作S1115或确定停止范围的操作中，控制器110可基于在检测到脸 部时确定的移动终端100的位置来将向前和向后角度的特定范围设置为停止 范围。

在操作S1120或确定终端的倾斜的操作中，控制器110可使用传感器模 块170来确定移动终端100的向前倾斜或向后倾斜。

在操作S1125或确定终端的倾斜角度的操作中，控制器110可确定移动 终端100是否以阈值角度或更大的角度倾斜。阈值角度可对应于图20中示出 的停止范围O和范围A或C之间的边界。如果移动终端100以阈值角度或更 大的角度倾斜，则控制器110可执行操作S1130，并且，如果移动终端100 没有以阈值角度或更大的角度倾斜，则控制器110可重复操作S1120。

在操作S1130或确定终端的倾斜方向的操作中，控制器110可确定移动 终端100的倾斜方向。如果倾斜方向对应于向前方向，则控制器110可执行 操作S1135，并且，如果倾斜方向不对应于向前方向（即，对应于向后方向）， 则控制器110可执行操作S1160。

在操作S1135或向上滚动操作中，控制器110可向上滚动屏幕。

在操作S1140或确定终端的倾斜的操作中，控制器110可使用传感器模 块170来确定移动终端100是否沿与屏幕向上滚动之前确定的倾斜方向相反 的方向倾斜。

在操作S1145或确定终端的倾斜角度的操作中，控制器110可确定移动 终端100是否以阈值角度或更大的角度倾斜。阈值角度可以是移动终端100 可返回到停止范围O的角度，或者，可以与操作S1125中的阈值角度相同。 如果移动终端100以阈值角度或更大的角度倾斜，则控制器110可执行操作 S1150，并且，如果移动终端100没有以阈值角度或更大的角度倾斜，则控制 器110可重复操作S1140。

在操作S1150或确定终端的倾斜方向的操作中，控制器110可确定移动 终端100的倾斜方向。如果倾斜方向对应于向后方向，则控制器110可执行 操作S1155，并且，如果倾斜方向不对应于向后方向（即，对应于向前方向）， 则控制器110可执行操作S1140。可替换地，可省略操作S1150。

在操作S1155或滚动停止操作中，控制器110可停止屏幕的向上滚动。

在操作S1160或向下滚动操作中，控制器110可向下滚动屏幕。

在操作S1165或确定终端的倾斜的操作中，控制器110可使用传感器模 块170来确定移动终端100是否沿与屏幕向下滚动之前确定的倾斜方向相反 的方向倾斜。

在操作S1170或确定终端的倾斜角度的操作中，控制器110可确定移动 终端100是否以阈值角度或更大的角度倾斜。阈值角度可以是移动终端100 可返回到停止范围O的角度，或者，可以与操作S1125中的阈值角度相同。 如果移动终端100以阈值角度或更大的角度倾斜，则控制器110可执行操作 S1175，并且，如果移动终端100没有以阈值角度或更大的角度倾斜，则控制 器110可重复操作S1165。

在操作S1175或确定终端的倾斜方向的操作中，控制器110可确定移动 终端100的倾斜方向。如果倾斜方向对应于向前方向，则控制器110可执行 操作S1155，并且，如果倾斜方向不对应于向前方向（即，对应于向后方向）， 则控制器110可执行操作S1165。可替换地，可省略操作S1175。

图24是示出根据本公开的第三实施例的视觉滚动模式中的屏幕滚动方 法的流程图。

屏幕滚动方法可被应用于实时图像或实时图像帧。

参照图24，控制器110可在操作S1210或图像接收操作中从相机模块150 接收实时图像。可替换地，如果由相机模块150捕获的实时图像预先被存储 在存储单元175中，则控制器110可从存储单元175接收实时图像。

图25A和图25B示出根据本公开的第三实施例的视觉滚动模式中的屏幕 滚动方法。

参照图25A，图1中示出的移动终端100还可包括图像信号处理器（ISP） 156。值得注意的是，图25A的移动终端在非视觉滚动模式中处理由相机模块 150捕获的图像。

ISP156可接收由相机模块150捕获的实时图像，根据触摸屏190的屏 幕特性（尺寸、图像质量、分辨率等）或者另一个显示单元的屏幕特性来处 理图像（即，将图像转换为高质量图像），并且，将高质量图像输出给触摸屏 190。

触摸屏190可显示从ISP156接收到的高质量图像。

控制器110可控制相机模块150和/或ISP156来执行图像处理。

参照图25B，移动终端在视觉滚动模式中处理由相机模块150捕获的图 像。

控制器110可控制相机模块150不将实时图像输出给ISP156，或者可 控制ISP156不处理从相机模块150接收到的实时图像。控制器110可从相 机模块150、ISP156或存储单元175接收没有经过ISP的非ISP处理图像。

控制器110可控制（或者使得）相机模块150在非视觉滚动模式中输出 用于屏幕显示的高质量（或高分辨率）图像并在视觉滚动模式中输出低质量 （或低分辨率）图像。例如，在控制器110的控制下，相机模块150可在非 视觉滚动模式中输出全像素图像并在视觉滚动模式中输出下采样图像。下采 样图像具有的像素数量小于全像素图像的像素数量。

在可替换的情况下，控制器110可控制相机模块150在非视觉滚动模式 中输出用于屏幕显示的全彩色图像并在视觉滚动模式中输出单色或灰度图 像。

控制器110可使用可有助于功耗的最小化的非ISP处理图像来执行屏幕 滚动方法，而不是使用会需要更高的功耗的正常高质量图像。例如，控制器 110可在视觉滚动模式中使用下采样的非ISP处理的低质量（或低分辨率） 灰度图像。

由于由移动终端100消耗的功率中的很多功率会被ISP156消耗，所以 对于屏幕滚动，控制器110可使用非ISP处理图像，以便在连续地启用相机 模块150的同时使功耗最小化。

可替换地，控制器110可使用ISP处理图像来执行屏幕滚动方法。

再次参照图24，控制器110可在操作S1220或图像校正操作中校正非ISP 处理图像。图像校正可包括以下项中的至少一个：用于使图像对于环境照明 的变化表现强健的照明校正、用于使噪声的影响最小化的降噪、以及对于由 于降噪而模糊的图像的细节增强（或者锐利度校正）。

控制器110可通过分析至少一个前面的图像（或者，在捕获目标图像之 前捕获的图像）来校正当前图像（或者目标图像）。控制器110可确定前面的 图像和当前图像之间的差，并且，如果该差小于阈值，则控制器110可基于 前面的图像来校正当前图像，如果该差大于或等于阈值，则控制器110可不 根据前面的图像来校正当前图像。例如，如果图像之间的差小于阈值，则控 制器110可根据对于前面的图像分析的关于噪声的信息来从当前图像去除噪 声，并且，如果图像之间的差大于或等于阈值，则控制器110可在没有使用 对于前面的图像分析的关于噪声的信息的情况下分析当前图像并从当前图像 去除噪声。例如，在对于五个图像执行校正的情况下，假设图像之间的差小 于阈值，控制器110可根据对于第一图像分析的噪声信息来校正第二图像至 第五图像，从而使得与当控制器110针对每一个图像执行噪声分析时相比可 减少图像校正时间。控制器110可使用对于第一图像至第四图像的分析信息 来校正第五图像，从而提高校正准确度。当按照n个图像为单位来校正噪声 时，控制器110可使用对于第一图像至第n图像的噪声分析信息来校正第n 图像的噪声，并且，可使用对于第二图像至第(n+1)图像的噪声分析信息来校 正第(n+1)图像的噪声。如果第(n+2)图像和第(n+1)图像之间的差大于或等于 阈值，则控制器110可在不基于前面的图像的情况下对于第(n+2)图像执行噪 声分析和校正，并且，使用对于第(n+2)图像至第(n+3)图像的噪声分析信息 来校正第(n+3)图像的噪声。

操作S1220是可任选的。

在操作S1230或关注区域确定操作中，控制器110可确定从图像是否检 测到关注的区域（或关注区域（ROI））。

图26是示出根据本公开的实施例的关注区域确定操作的操作的流程图。

参照图26，控制器110可在操作S1310或确定是否检测到脸部的操作中 确定是否从图像检测到脸部。

可使用普通脸部检测方法来执行脸部检测，对于普通脸部检测方法，使 用脸部检测技术，其基于脸部的轮廓、脸部皮肤的颜色和/或纹理、模版等。 例如，控制器110可通过执行将登记的被摄体图像的特征点与从输入图像检 测到的特征点进行匹配的处理来检测与登记的被摄体匹配的图像区域（即， 检测到的被摄体）。控制器110可使用多个脸部图像来执行脸部学习，并且基 于累积的脸部学习数据来从输入图像检测脸部。

在操作S1320或确定脸部是否固定的操作中，控制器110可确定在图像 中脸部是否移动。因为尽管从图像检测到脸部，但是控制器110无法确定用 户是否意图滚动屏幕，所以，控制器110可确定脸部是否固定，以用于屏幕 滚动方法的初始化。

图27A、图27B、图28A、图28B和图29示出根据本公开的实施例的关 注区域确定操作的操作。

参照图27A，用户的脸部610在操作620中在他/她的观看方向上从右向 左移动。

如果脸部610被固定，则控制器110可执行操作S1340，并且，如果脸 部未被固定，则控制器110可执行操作S1330。

在操作S1330或输出第一指导信息的操作中，控制器110可输出用于指 示用户固定他/她的脸部的指导信息。输出指导信息可包括显示视觉指导信息 （例如，图像和文本），或者输出声音指导信息（例如，语音）。

再次参照图27A，控制器110可在触摸屏190上显示指导信息630，例如， “请固定您的脸”和“为了屏幕滚动请固定您的脸”。

在操作S1340或确定脸部的位置的操作中，控制器110可确定脸部是否 位于最佳区域中。

控制器110可在考虑第一相机151的观看角度和/或位置以及移动终端 100的方向的情况下在触摸屏190上设置最佳区域。

控制器110可确定脸部是否位于最佳区域。

参照图27B，最佳区域650可被设置为使得其中心642可沿远离第一相 机151的方向与触摸屏190的中心640分隔开。由于第一相机151位于移动 终端100的右上方，所以最佳区域650的中心642可沿左下方向与触摸屏190 的中心640分隔开。如果第一相机151位于移动终端100的左上方，则最佳 区域650的中心642可沿右下方向与触摸屏190的中心640分隔开。

如果脸部610位于最佳区域650中，则控制器110可执行操作S1360， 并且，如果脸部610没有位于最佳区域650中，则控制器110可执行操作 S1350。

在操作S1350或输出第二指导信息的操作中，如果脸部610没有位于最 佳区域650中，则控制器110可输出用于指示用户移动使得脸部610可位于 最佳区域650的指导信息。输出指导信息可包括显示视觉指导信息（例如， 图像和文本），或者输出声音指导信息（例如，语音）。操作S1340和S1350 是可任选的。

参照图28A，用户的脸部610在最佳区域650之外。控制器110可在触 摸屏190上显示文本指导信息660（例如，“请向左移动您的脸”）、语音指导 信息（未示出）（例如，请向左移动您的脸）或者图像指导信息665（例如， 箭头）。

参照图28B，最佳区域652可被设置为随着移动终端100的旋转而一同 旋转。沿移动终端100的任意方向，最佳区域652可被设置为使得其中心可 沿远离第一相机151的方向与触摸屏190的中心分隔开，或者可被设置为使 得最佳区域652的大小可根据移动终端100的方向而不同。

在操作S1360或检测关注区域的操作中，控制器110可从图像中的脸部 检测关注区域。

参照图29，控制器110可从脸部610检测包括鼻子的关注区域670。换 句话说，关注区域670可包围鼻子，并且，其中心坐标可位于鼻子中。

可通过设置中心位于鼻子上的关注区域（这可很好地表示脸部中的向上/ 向下/向左/向右移动的变化）来提高关注区域跟踪的准确度和处理速度。

在相机模块150位于移动终端100的上部并且用户倾斜地握着移动终端 100来使用移动终端100的情况下，整个脸部区域会无法被包括在相机模块 150的视角中。

在该环境中，如果用户上下移动他/她的脸部，则在眼睛/鼻子/嘴中的每 一个周围的变化可不同。因此，如果使用包括关于所有的眼睛/鼻子/嘴的信 息的关注区域，则估计准确度会降低。由于关注区域的增大，具有有限的计 算能力的移动终端100用在跟踪上的处理时间会较长。因此，移动终端100 可将整个脸部中包括鼻子的区域设置为关注区域，该区域可很好地反映脸部 的运动，并且，在该区域中，运动变化显著地出现。

在操作S1240或跟踪关注区域的操作中，控制器110可跟踪连续地捕获 的图像中的关注区域的位置变化。控制器110可跟踪连续地捕获的图像中的 鼻子的位置的累积变化。

在操作S1250或确定关注区域的状态的变化的操作中，控制器110可根 据关注区域的位置的变化来确定关注区域的状态是否改变。控制器110可确 定关注区域的位置的累积变化是否超过阈值。

例如，控制器110可确定关注区域的移动方向，并且，如果沿移动方向 的位置的累积变化超过（或者等于或等于）沿所述移动方向的阈值，则控制 器110可确定关注区域的状态被改变为向上状态、向下状态、向左状态、向 右状态和停止状态中的一个。向上状态、向下状态、向左状态、向右状态和 停止状态可分别对应于向上滚动（或上滚动）事件、向下滚动（或下滚动） 事件、向左滚动（或左滚动）事件、向右滚动（或右滚动）事件和停止事件。

关注区域的状态的变化可对应于事件的发生。

可通过示出眼睛的位置变化的图16理解与关注区域的状态的变化（或事 件的类型）相关的鼻子的位置变化。

如果在操作S1250中有关注区域的状态的变化，则控制器110可执行操 作S1260，并且，如果没有关注区域的状态的变化，则控制器110可继续操 作S1240。

在操作S1260或者屏幕滚动操作中，控制器110可沿与状态的变化相应 的方向滚动屏幕。

控制器110可连续地更新对于关注区域的跟踪信息，通过分析更新的信 息来确定用于控制屏幕滚动的关注区域的向上/向下/向左/向右/停止状态， 并且，执行与确定的状态相应的屏幕滚动。在下文中将考虑通过跟踪包括鼻 子的关注区域来确定向上/向下/停止状态的示例，类似地，可通过分析包括 鼻子的关注区域的左/右移动的变化来确定向左/向右/停止状态。

图30是示出根据本公开的实施例的跟踪关注区域并确定关注区域的状 态的变化的流程图。

参照图30，关注区域最初被假设处于停止状态。

在操作S1410或计算位置的变化Dy的操作中，控制器110可计算前面关 注区域和当前关注区域之间的位置的变化Dy。换句话说，控制器110可计算 关注区域在当前图像和前面图像中的位置的变化。

如果关注区域的移动速度非常低，则两个关注区域之间的移动可忽略不 计，从而位置的变化可小于像素单位。因此，在这种情况下，不可能跟踪关 注区域的准确的移动。在这种情形中，移动终端100在跟踪关注区域的移动 时会发生性能劣化。

控制器110可设置时段“n”，并且，在时段“n”内累积两个连续的关注 区域之间的关注区域的位置变化。例如，控制器110可累积第一关注区域和 第二关注区域之间的位置的变化、以及第二关注区域和第三关注区域之间的 位置的变化。如果累积值小于或等于阈值TH_n，则控制器100可额外计算当 前关注区域（即，第二关注区域）和前面的第n关注区域之间的移动的变化， 并且，将它与位置的变化Dy相加（或者用它替代位置的变化Dy）。通过这 样做，控制器110可准确地跟踪缓慢移动的脸部。如果在特定的时段期间在 相邻的帧之间没有显著的位置差异，则可如下计算在第(t-n)图像和第t图 像（其中，t=2n）中包括鼻子的关注区域的位置的变化Dy：

Dy=P(t-n)-P(t)

其中，P(t-n)表示第(t-n)帧中关注区域的中心坐标，并且，P(t)表 示第t帧中关注区域的中心坐标。尽管位置的变化Dy在这里被表示为中心 坐标的变化，但是，位置的变化Dy可被概括并表示为关注区域中的任何位 置（或像素）的变化。

在操作S1420或者更新或计算位置的累积变化Ay的操作中，控制器110 可通过加上在每一个时段n中计算出的位置的变化Dy来更新位置的累积变化 Ay。换句话说，控制器110可计算从关注区域的前面状态到当前状态的位置 的累积变化Ay。前面状态可以是向上状态、向下状态、向左状态或向右状态。

位置的变化Dy可具有正或负的符号。例如，对于向上移动（或向上状态）， 位置的变化Dy可具有正值，对于向下移动（或向下状态），位置的变化Dy可 具有负值。

在操作S1430或确定关注区域是否处于停止状态的操作中，控制器110 可确定关注区域的状态是否对应于停止状态。

存储单元175可预先存储前面状态信息，并且，前面状态信息可包括关 注区域的前面状态信息（例如，向上状态或向下状态）和前面状态下的位置 的累积变化Ay。

例如，当前面状态是向上状态时，如果当前的位置累积变化Ay减少了阈 值TH_Stop，则控制器110可确定关注区域的状态处于停止状态。另一方面， 当前面状态是向下状态时，如果当前的位置累积变化Ay增加了阈值TH_Stop， 则控制器110可确定关注区域的状态处于停止状态。

停止状态阈值TH_Stop可被设置为小于或等于用于确定向上状态的向上 状态阈值TH_Aup和用于确定向下状态的向下状态阈值TH_Adown。

图31A、图31B和图32示出根据本公开的实施例的关注区域的状态的变 化。

参照图31A和图31B，水平轴表示时间，垂直轴表示垂直位置。将假设 停止状态阈值TH_Stop、向下状态阈值TH_Adown和向上状态阈值TH_Aup分 别被设置为5、-10和10。它们的单位可以是毫米（mm）、像素等。

在图31A中，如果关注区域从初始位置向下移动了10，则控制器110可 确定关注区域的状态为向下状态（参见710）。此后，如果关注区域从下位置 向上移动了5，则控制器110可确定关注区域的状态为停止状态（参见712）。

在图31B中，如果关注区域从初始位置向上移动了10，则控制器110可 确定关注区域的状态为向上状态（参见720）。此后，如果关注区域从上位置 向下移动了5，则控制器110可确定关注区域的状态为停止状态（参见722）。

如果关注区域的状态是停止状态，则控制器110可执行操作S1440，并 且，如果关注区域的状态不是停止状态，则控制器110可执行操作S1450。

在操作S1440或确定停止时间的操作中，控制器110可确定停止状态的 持续时间（即，停止时间），并且保持停止状态，直到停止时间St达到了阈 值TH_S。停止时间St可被图像帧的数量替代。例如，如果图像帧率是每秒 10帧，则阈值可被设置为3至5帧。

再次参照图11A至图11C，例如，当用户在如图11A或图11C中一样滚 动内容（例如，联系人列表210）的细节之后如图11B中一样停止联系人列 表210的同时，用户移动他/她的脸部来读取内容（例如，联系人列表210） 的细节时，联系人列表210不应该被滚动，但是，难以将执行滚动的动作与 读取内容的细节的动作进行区分。

因此，在通过区分这两个动作来确定向上/向下/向左/向右/停止状态以 精确地操作滚动时，控制器110不仅可使用阈值，还可在一段时间内或者在 多个帧的期间保持停止状态。

如下所述，如果被确定为向上/向下/向左/向右状态的条件在一段时间内 或者在多个帧的期间被保持，则所述条件可最终被确定为向上/向下/向左/ 向右状态。

参照图32，当控制器110在一段时间内保持停止状态的情况下，控制器 110可连续地计算在从向下状态（参见710）改变到停止状态（参见712）之 后位置的累积变化Ay，但是，即使位置的累积变化Ay从停止位置起超过值 为10的向上状态阈值TH_Aup（参见714），控制器110也不会进行状态变化。 换句话说，控制器110可在没有确定位置的累积变化Ay是否大于或等于阈值 TH_Aup（即，状态是否改变）的情况下连续地保持停止状态，直到停止时间 St大于或等于阈值TH_S。

如果停止时间St达到了阈值TH_S，则控制器110可执行操作S1450，并 且，如果停止时间St尚未能达到阈值TH_S，则控制器110可重复操作S1440。

在操作S1450或确定状态的变化的操作中，控制器110可根据关注区域 的状态满足的条件来确定关注区域的状态为向上状态、向下状态还是停止状 态。停止时间St和阈值TH_S不仅可被定义为时间单位，还可被定义为相机 可在特定的时间内处理的帧的数量。

在操作S1460中，如果关注区域的状态满足第一条件，则控制器110可 确定关注区域的状态为向上状态。

第一条件可以是Ay≥TH_Aup和FC_up≥TH_Fup。当位置的累积变化Ay 大于或等于向上状态阈值TH_Aup，并且位置的变化Dy为0或落入某些数值 的范围内时，对帧计数FC_up进行计数。

在操作S1470中，如果关注区域的状态满足第二条件，则控制器110可 确定关注区域的状态为向下状态。

第二条件可以是Ay≤TH_Adown和FC_down≥TH_Fdown。当位置的累积变 化Ay小于或等于TH_Adown，并且位置的变化Dy小于0或落入在某些数值的 范围内时，对帧计数FC_down进行计数。

由于使用停止时间或帧计数，所以可防止由于以下情况而发生非故意的 滚动：当用户通过在屏幕于向下状态下滚动的同时向上移动他/她的脸部来改 变到停止状态之后，移动观看屏幕的顶部或底部的脸部以读取内容的细节。

在操作S1480中，如果关注区域的状态满足第三条件，则控制器110可 确定关注区域的状态为停止状态。第三条件可以是除了第一条件和第二条件 以外的条件。换句话说，如果关注区域的状态没有满足第一条件和第二条件 中的任何一个，则控制器110可确定关注区域的状态为停止状态。

在控制器110被设置为在停止状态阈值TH_S内保持停止状态的情况下， 控制器110需要在停止状态下在特定的时间内一直停止，从而，向上滚动和 向下滚动的状态变化不会自然地操作。为了解决该问题，当位置的累积变化 Ay大于或等于第二向上状态阈值TH_Aup2（其大于TH_Aup）或者小于或等于 第二向下状态阈值TH_Adown2（其小于TH_Adown）时，停止时间条件可被解 除，从而可以软性地切换向上状态和向下状态。

在这种情况下，第一条件可以是Ay≥TH_Aup2和FC_up≥TH_Fup，第二 条件可以是Ay≤TH_Adown2和FC_down≥TH_Fdown。

控制器110可以使用前面状态信息来确定从停止状态到向上/向下状态 的改变。为了使用前面状态信息来确定从停止状态到向上/向下状态的改变， 控制器110可考虑四个不同的情况：向上状态→停止状态→向上状态， 向下状态→停止状态→向下状态，向上状态→停止状态→向下状态， 以及向下状态→停止状态→向上状态.

控制器110可基于指示向上/向下状态的前面状态以及前面状态的位置 的累积变化Ay来动态地改变用于确定当前状态的阈值TH_Aup和TH_Adown。

如果沿相同的方向发生状态改变（向上状态→停止状态→向上状态，向 下状态→停止状态→向下状态），则脸部的移动会较小，从而关注区域的位置 变化Dy会较小。因此，如果沿相同的方向发生状态改变，则控制器110可使 用固定的阈值，并且可根据在一个或多个参考范围中前面状态的位置的累积 变化Ay所属的任何一个参考范围来动态地分配当前状态的阈值TH_Aup和 TH_Adown。

图33A和图33B示出根据本公开的实施例的用于沿相同方向的状态变化 的向下状态阈值的动态分配。

参照图33A和图33B，假设停止状态阈值TH_Stop和初始向下状态阈值 TH_Adown被分别设置为5和-10。

在图33A中，如果关注区域从初始位置向下移动了10（参见810），则控 制器110可确定关注区域的状态为向下状态。此后，如果关注区域从下位置 向上移动了超过5的10（参见812），则控制器110可确定关注区域的状态为 停止状态。在这种情况下，控制器110可保持向下状态阈值TH_Adown不变。 此后，如果关注区域从停止位置向下移动了10（参见814），则控制器110可 确定关注区域的状态为向下状态。

在图33B中，如果关注区域从初始位置向下移动了10或更多（参见820）， 则控制器110可确定关注区域的状态为向下状态。但是，实际上，在控制器 110确定关注区域的状态为向下状态时，关注区域已经向下移动了15（即， 关注区域的位置的累积变化为15）。在这种情况下，用于确定向下状态的阈 值TH_Adown可被改变为值“-5”，该值的绝对值小于已有值“-10”的绝对值。 在随着关注区域从下位置向上移动了超过5的10而确定关注区域的状态为停 止状态（参见822）之后，如果关注区域通过反映改变后的阈值“-5”而向 下移动，即，如果关注区域向下移动了5（参见824），则控制器110可确定 关注区域的状态为向下状态。换句话说，如果前面状态的位置的累积变化的 绝对值大于阈值的绝对值，则控制器110可减小用于确定下一向上/向下状态 的位置的累积变化的阈值。

结果，控制器110可根据多个范围（例如，0～-10和-10～-15）中前面状 态的位置的累积变化Ay所属的任何一个范围来动态地改变向上/向下状态阈 值。

如果沿与前面状态的方向不同的方向发生状态改变，则脸部的移动会是 显著的，从而关注区域的位置的变化Dy也可能是显著的。因此，当使用固定 的阈值TH_Aup和TH_Adown时，控制器110会难以一致性地确定向上/向下状 态。例如，在控制器110使用固定的阈值根据向上/向下状态来滚动屏幕的情 况下，在当用户正在观看屏幕的中心时设置了滚动停止状态之后，如果用户 连续地执行滚动，则参考点会移动。因此，在特定时间，为了停止屏幕滚动， 用户会需要观看屏幕的顶部或底部。因此，为了使参考点的移动最小化，控 制器110可基于前面状态以及前面状态的位置的累积变化Ay来动态地改变用 来确定当前的向上/向下状态的阈值。

图34示出根据本公开的实施例的用于沿不同方向的状态变化的向下状 态阈值的动态分配。

参照图34，假设停止状态阈值TH_Stop和初始向下状态阈值TH_Adown 被分别设置为5和-10。

如果关注区域从初始位置向下移动了超过10的20（参见830），则控制 器110可确定关注区域的状态为向下状态。此后，如果关注区域从下位置向 上移动了超过5的10（参见832），则控制器110可确定关注区域的状态为停 止状态。在这种情况下，控制器110可将向上状态阈值TH_Aup从10改变为 20。换句话说，如果用于前面状态的位置的累积变化的绝对值大于阈值的绝 对值，则控制器110可增大用于当前状态的位置的累积变化的阈值。

换句话说，如果前面状态的位置的累积变化的绝对值大于阈值的绝对值， 则控制器110可增大用于确定当前状态的位置的累积变化的阈值。如果关注 区域从停止位置向上移动了超过10的20（参见834），则控制器110可确定 关注区域的状态为向上状态。

结果，控制器110可根据多个范围中前面状态的位置的累积变化Ay所属 的任何一个范围来动态地改变向上/向下状态阈值。

虽然在上述实施例中触摸屏作为用于显示屏幕的显示单元的典型的例子 被给出，但是，也可以使用没有触摸感测功能的普通显示单元（例如，液晶 显示器（LCD）、有机发光二极管（OLED）、发光二极管（LED）等）来代替触 摸屏。

虽然在前面的实施例中以举例的方式选择多个滚动模式中的一个滚动模 式，但是，如参照图18或图23所述，根据本公开的基于情境感知的屏幕滚 动方法可在检测到登记的被摄体（例如，脸部）时直接执行运动滚动模式。

虽然在前面的实施例中根据向上/向下/向左/向右/停止状态的确定来控 制滚动，但是本公开可根据运行的程序来被应用于屏幕或GUI控制方法。例 如，本公开的实施例可被应用于在相机拍摄模式中根据向上/向下/向左/向右 /停止状态来执行放大/缩小命令，并且，可被应用于在图像浏览器中执行放 大/缩小命令和向左/向右旋转命令。又例如，本公开的实施例可被应用于执 行用于视频/音频播放的前进/后退命令和音量提高/降低命令。再例如，本公 开的实施例可被应用来对指示屏幕上的焦点的位置的图标进行向上/向下/向 左/向右移动，以允许用户在相机拍摄期间选择焦点位置。

可认识到，本公开的实施例可通过硬件、软件或者其组合来实现。软件 可被存储在易失性或非易失性存贮器（例如，可擦除/可重写ROM）、存储器 （例如，RAM、存储器芯片、存储器装置或存储器集成电路（IC））或者光或 磁可记录的机器（或计算机）可读的存储介质（例如，压缩盘（CD）、数字多 功能盘（DVD）、磁盘或磁带）中。在移动终端中安装的存储单元可以是适用 于存储包括用于实现本公开的实施例的指令的（一个或多个）程序的机器可 读存储介质的示例。因此，本公开可包括程序和存储所述程序的机器可读存 储介质，其中，所述程序包括用于实现如权利要求及其等同物限定的设备或 方法的代码。

移动终端可从程序服务器接收和存储程序，移动终端有线或无线地连接 到程序服务器。程序服务器可包括：存储器，用于存储包括用于允许移动终 端实现设置的基于情境感知的屏幕滚动方法的指令的程序，并且用于存储基 于情境感知的屏幕滚动方法所需的信息；通信单元，用于与移动终端执行有 线/无线通信；以及控制器，用于应移动终端的请求或者自动地将程序发送到 移动终端。

如从前面的描述清楚的是，根据本公开的实施例，移动终端可提供适用 于周围环境的滚动模式，并且，基于被摄体和终端的移动来执行屏幕滚动， 从而允许用户用简单的操纵来更加方便地滚动屏幕。

另外，通过仅仅在检测到登记的被摄体时执行视觉滚动模式或者运动滚 动模式，移动终端可防止非故意的的滚动错误。

虽然已经针对本公开的各种实施例对本公开进行了示出和描述，但是本 领域的技术人员将会理解，在不脱离由权利要求及其等同物所限定的本公开 的范围的情况下，可以对其进行形式和细节上的各种改变。