具有屏幕上光导航的移动设备

摘要

一种移动计算设备，包括主体；容纳在主体内的处理器和相关存储器；响应来自处理器的信号并容纳在主体内的显示屏；固定到主体上的光传感器，用于捕获连续图像并且将表示捕获图像的图像信号提供给处理器；以及与处理器相关联的导航模块，用于根据图像信号来确定主体和参考表面之间的相对移动，并且根据所确定的相对移动在显示屏上移动指针。

说明书

技术领域

本发明涉及一种移动设备的用户接口。

背景技术

诸如个人数字助理和消息传送性能的通信设备的移动设备得到了普遍地快速增长。更多特征已经并入到了移动设备中。例如，现在存在具有显示屏和内置摄像机的消息传送性能的移动电话。这样电话使由摄像机所拍摄的图像显示在屏幕上，以及存储在电话上，并且作为数字照片无线地传送。已经提出了使用集成摄像机作为移动通信设备的输入接口，由此，将来自摄像机的图像信息转换为文本数据，该文本数据可以用作电话号码、因特网地址或邮件文本，以支持呼叫、因特网连接或邮件传送。

由于手持式移动设备的紧凑尺寸和便携性，与诸如膝上型和桌面型计算机的更大设备相比，对于这样的小型设备，典型地，屏幕上导航的输入接口的范围受到更大的限制。优于使用光学或滚动球鼠标、触摸垫、或操纵杆来移动屏幕上指针或光标，在手持式设备上的导航控制典型地依赖于方向键盘、铁笔、和/或诸如指轮的其他输入设备。

因此，在移动设备中需要可选的用于屏幕上导航的输入接口。

发明内容

根据本发明，使用移动设备上的板上光传感器来检测设备和参考表面的相对移动，并且相应地移动屏幕上指针。在一些实施例中，还可以在各种模式下使用光传感器，作为摄像机和扫描仪。

根据本发明的一个示例方面，提出了一种移动设备，包括主体；容纳在主体内的处理器和相关存储器；响应来自处理器的信号并容纳在主体内的显示屏；固定到主体上的光传感器，用于捕获连续图像并且将表示捕获图像的图像信号提供给处理器；以及与处理器相关联的导航模块，用于根据图像信号来确定主体和参考表面之间的相对移动，并且根据所确定的相对移动在显示屏上移动指针。

根据本发明的另一方面，提出了一种用于具有显示屏的移动设备的屏幕上导航方法。所述方法包括：(a)固定针对显示屏的移动的光传感器；(b)在显示屏上显示屏幕上指针；(c)通过光传感器来捕获参考表面的连续图像；(d)比较连续捕获的图像，以确定光传感器和参考表面之间的相对移动：以及(e)根据所确定的移动在显示屏上移动屏幕上指针。

通过结合附图来查看本发明特定实施例的以下描述，本发明的其他方面和特征将对本领域的技术人员显而易见。

附图说明

现在将参考附图，仅通过实例来描述本发明的实施例，其中：

图1是示出了可以应用本发明的移动设备的方框图；

图2是图1中的移动设备的正视图；

图3是该移动设备的侧视图；

图4是该移动设备的后视图；

图5是沿着图4的线V-V所截取的移动设备的部分截面图；

图6是根据本发明的实施例，与移动设备的摄像机的操作模式相关联的操作模块的方框图；

图7是示出了根据本发明的实施例的光导航处理的方框图；以及

图8是根据本发明另一实施例的移动设备的正视图。

在附图中使用相同的参考符号来表示相同的元件和特征。

具体实施方式

现在参考附图。图1是在示例实施例中应用了本发明的移动设备10的方框图。在该示例实施例中，移动设备10是手持式双向移动通信设备，至少具有数据和可能的语音通信能力。在该示例实施例中，设备10具有与因特网上的其他计算机系统进行通信的能力。根据由设备10所提供的功能，在各种实施例中，设备10尤其可以是数据通信设备、配置为同时进行数据和语音通信的多模式通信设备、移动电话、能够进行无线通信的PDA(个人数字助理)、或具有无线调制解调器的计算机系统。在各种实施例中，本发明还可以应用于手持式计算设备，例如不能够进行通信的PDA和数字摄像机。

该设备10包括：通信子系统11，所述通信子系统11包括接收机12、发射机14和诸如一个或多个最好嵌入或内部的天线元件16和18的相关组件；以及诸如数字信号处理器(DSP)20的处理模块。在一些实施例中，通信子系统11包括本地振荡器(LO)13，并且在一些实施例中，通信子系统11和微处理器38共享振荡器。对于通信领域的技术人员显而易见，通信子系统11的特定设备将取决于该设备需要在其中进行操作的通信网络。

将由天线16通过无线通信网络50所接收到的信号输入到接收机12，接收机12可以进行诸如以下的通用接收机功能，例如：信号放大、降频转换、滤波、信道选择等，以及在一些实施例中的模拟到数字转换。按照类似的方式，由DSP 20处理要传送的信号，包括诸如调制和编码，并且输入发射机14，以便进行数字到模拟转换、升频转换、滤波、放大和经由天线18在网络50上传送。

所述设备10包括微处理器38，用于控制设备10的整个操作。微处理器38与通信子系统11交互作用，并且还与另外的设备子系统交互作用，例如，显示器22、闪速存储器24、随机存取存储器(RAM)26、辅助输入/输出(I/O)子系统28、串行端口30、键盘或小键盘32、扬声器34、麦克风36、短距离通信子系统40、以及通常表示为42的其他任何设备子系统。本系统的设备10包括与微处理器38交互作用的整体摄像机44和背光46。

在图1中所示的一些子系统执行与通信有关的功能，而其他子系统可以提供“常驻”或设备上的功能。注意，诸如键盘32和显示器22的一些子系统可以用于通信相关功能，例如输入用于在通信网络上传送的文本消息；以及设备常驻功能，例如计算器或任务表。

在一个示例实施例中，将由微处理器38所使用的操作系统软件54和各种软件应用程序58存储在诸如闪速存储器24或类似存储单元的永久存储器中。本领域的技术人员将会意识到，可以将操作系统54、特定设备应用程序58或其一部分临时地加载到诸如RAM 26的易失性存储器中。可以想到，还可以将接收到的通信信号存储到RAM 26中。

除了其操作系统功能之外，优选地，微处理器38能够执行在设备10上的软件应用程序58。通常在制造期间将预定软件应用程序58的集合安装在设备10上，所述预定软件应用程序58的集合用于控制包括诸如至少数据和语音通信应用的基本设备操作。还可以通过网络50、辅助I/O子系统28、串行端口30、短距离通信子系统40或其他任何适当子系统42将另外的应用程序加载到设备10上，并由用户安装在RAM 26或非易失性存储器中，以便由微处理器38执行。在应用程序安装中的这样的灵活性增强了设备10的功能，并且可以提供增强的设备上功能、通信相关功能或这两者。例如，安全通信应用程序可以实现电子商务功能和要利用该设备10所进行的其他这样的金融交易。

在数据通信模式下，将由通信子系统11来处理诸如文本消息的接收到的信号或网页下载，并且输入到微处理器38，优选地，微处理器38将进一步处理所接收到的信号，以便输出到显示器22，或者可选地输出到辅助I/O设备28。设备10的用户还可以利用键盘32，结合显示器22和可能的辅助I/O设备28，构造诸如电子邮件消息的数据项。然后，可以通过通信子系统11，在通信网络上传送这样构造的项。

通常，将会在可能需要与用户桌面型计算机(未示出)同步的个人数字助理(PDA)型通信设备中实现图1中的串行端口30，但是其该端口可以是光器件部件。这样的端口30将使用户能够通过外部设备或软件应用程序来设置优选项，并且将除了通过网络50之外，通过向设备10提供信息或软件下载，将扩展设备10的能力。

短距离通信子系统40是可以提供用于设备10和不必一定为类似设备的不同系统或设备之间的通信的另外组件。例如，子系统40可以包括红外线设备和相关电路以及Bluetooth^TM通信模块，以便提供与类似功能的系统和设备的通信。设备10可以是手持式设备。

在示例实施例中，无线移动网络50是向移动设备10提供无线电覆盖的无线分组数据网络(例如，Mobitex^TM或DataTAC^TM)，尽管其可以是其他任何类型的无线网络。

参考图2-4，在示例实施例中，移动设备10的组件和子系统容纳在硬塑料主体外壳70内，将该外壳70配置为在设备10正在使用时，由一只或两只手握住。外壳70可以包括挂钩(未示出)，从而可以将其固定到用户皮带或裤子(pant)顶部，或者可以将该外壳70与软外壳(未示出)结合在一起使用，可以将该软外壳安装在用户皮带或裤子顶部上，并且可以将移动设备10插入到其中以便携带。典型地，移动设备10将足够小，以便安装在标准钱包或适当的夹克口袋中。屏幕22从设备10的正面可见，键盘或小键盘32也如此。键盘32包括按钮或按键90、92，对其进行定位以便由用户的拇指或手指驱动。在图2所示出的实施例中，键盘32具有相对较少的按键，然而，在一些实施例中，键盘32包括26个或更多字母数字和控制键。如图4中可以看到，外壳70包括大致为平面的后壁72，具有通过其中设置的开口74。透镜76覆盖开口74，在开口74的后面定位了摄像机44和背光46。

如在图5中所看到的，在示例实施例中，将摄像机44和背光46固定到安装在主体外壳70内的印刷电路板94的背面。在示例实施例中，印刷电路板94还支持设备10的至少一些其他的硬件电子组件。摄像机44包括面向透镜76的光传感器78，用于接收通过其的反射光100。定位背光46，以便将通过透镜76的光98照射到参考表面96上，将光从该参考表面96反射回光传感器78。尽管在附图中未示出，对于本领域的技术人员显而易见，摄像机44、透镜76和背光46以各种其他方式用于于主体70，而不会使本发明的范围变窄。在第一实施例中，将摄像机固定到主体上。在第二实施例中，可以将摄像机44、透镜76和背光46容纳在可旋转地安装到设备10的主体70上的第二外壳(未示出)上。在还有的另一实施例中，将第二外壳可拆卸地安装到设备10的主体70上。

现在参考图1和2，加载到设备10的至少一些专用软件应用程序58将与操作系统54一起，实现在屏幕22上显示文本82和/或图形80的图形用户接口、以及指针84或其他屏幕上指示符，用户可以选择性地将其定位在屏幕22上，以便在表示数据或命令的已显示的可选文本和/或图形图像之中进行导航。根据本发明的实施例，在多种模式下，摄像机44尤其用作用户输入设备，用于控制屏幕上指针84的移动，以及用作摄像机，用于捕获静态照片或视频图像，以及用作扫描仪。设备10包括作为专用软件应用程序之一的光接口引擎60，用于处理按照以下所述方式由微处理器38从摄像机44中所接收到的信号。在各种实施例中，光接口引擎60的全部或部分可以集成到操作系统54和/或其他专用应用程序58中。在一些实施例中，可以在适当配置的硬件中实现光接口引擎功能的一部分，所述硬件可以位于主体70内或与摄像机44相同的外壳中。

图6示出了根据本发明的示例实施例，与当其激活时摄像机44的操作模式相关联的光接口引擎60的各种模块。更具体地，导航模块112、数字摄像机模块114和扫描仪模块116分别与光导航模式、数字摄像机模式和扫描仪模式相关联。在各种实施例中，可以将摄像机44配置为具有少于或多于三个的操作模式。在光导航模式下，使用来自摄像机44的所接收到的信号来控制屏幕导航，如以下将更为详细的解释的那样。

在数字摄像机模式下，摄像机44充当传统的数字摄像机，捕获彩色静态照片图像或数字视频图像，尤其可以将这些图像作为图像文件存储在设备10的存储器中，可以在屏幕22上观看，并且可以在网络50上作为图像文件发送到目的地地址。

在扫描仪模式下，使用摄像机44来识别表示字母数字数据的图像，并且将捕获的图像转换为数字的字母数字数据。例如，在一个实施例中，扫描仪模式具有两个子模式，即，条码扫描模式和光学字符识别模式。在条码扫描模式下，使用摄像机44来读取条码信息，然后，由设备10将该条码信息转换为数字或字母值，尤其可以将其存储在设备10的存储器中，在显示器22上显示，以及/或者在网络50上将其传送到目的地地址。在光学字符识别模式下，尤其将在扫描图像中所识别的字母数字字符存储在设备10的存储器中，在显示器22上显示，以及/或者通过网络50将其传送到目的地地址。例如，可以使用光学字符识别模式，将联系信息从名片扫描到电子地址簿中。

选择模式模块110实现了在摄像机操作模式中进行选择的选择模式处理。在一个实施例中，在选择模式处理期间，向用户展示各种模式的屏幕上列表，从该列表中，用户可以利用键盘32来选择所需的选项。在其他实施例中，将选择模式处理配置为：根据摄像机当前正在捕获的图像，在至少两个摄像机模式之间自动地进行选择。例如，当所捕获的图像表示摄像机44位于表面96的阈值距离内时，选择导航模式，而当摄像机44比离表面96的阈值距离更远时，设备10自动地切换到数字摄像机模式。

在一个示例实施例中，为了便于其在多模式下使用，光传感器78是具有相对较高的分辨率和色敏型的电荷耦合器件(CCD)。通过非限定性示例，传感器78可以具有至少100,000个像素的分辨率，尽管在一些实施例中使用了更低分辨率的传感器。摄像机44能够以每秒预定帧的捕获速率来捕获图像的连续帧。

参考图5，将更为详细地描述根据本发明实施例的导航模式下的摄像机44的操作。在一个示例实施例中，当设备10处于导航模式下时，用户在一只或两只手中持有设备10，从而设备10的背面72离表面96相对较近。在一个实施例中，可以将设备10持在一只手中，而另一只手用作参考表面96。当移动设备10时，配置导航模块112，以便通过摄像机44来跟踪设备10相对于表面96的移动，并且根据所跟踪的移动，移动屏幕上指针84。例如，参考图2和X-Y参考轴86，设备10相对于X轴移动设定距离导致了屏幕上指针84按照相同的方向以成比例的距离移动。类似地，设备10相对于Y轴移动设定距离导致了屏幕上指针84按照相同的方向以成比例的距离移动。当将屏幕上指针84定位在用户想要选择的文本或图形(诸如图标)处时，用户按下诸如按键90的控制键，例如，指示选择。在一些实施例中，屏幕上指针的移动处于与设备10的实际移动相反的方向上—例如，设备10在负X方向上的移动导致了屏幕上指针的正X方向移动，依次类推。

在示例实施例中，在导航模式下，启用背光46以将入射光98提供到表面96上，将该光反射到摄像机传感器78。背光46可以是发光二极管(LED)或其他发光设备，并且可以在脉冲模式下操作，以便保存电池能量。在一些实施例中，配置导航模块114，以便仅当摄像机44感知到不充分的光量时，向背光46提供脉冲，以便另外适当地操作。如图5中可以看到，在所示的实施例中，透镜76具有：第一角度部分118，配置用于将来自背光46的光98通通指向表面96上；以及凸面部分120，用于将入射光100聚焦在摄像机传感器78上。在示例实施例中，将透镜76可滑动地安装在后盖72的内部形成的轨道(track)89的内部，从而用户可以将力施加到向外突出小片88上，以便将透镜76滑动到外壳中和背光46和摄像机传感器78的位置线之外。近程开关或传感器91(在凸4中以虚像示出)与微处理器38相连，以便向光接口引擎60指示透镜76的位置。在示例实施例中，当摄像机处于导航模式以改善摄像机和背光在近表面96上的聚焦时，透镜76位于闭合位置(如图5所示)。在数字摄像机模式下，可以开启透镜76(滑出正轨)，以允许摄像机聚焦在另外对象上。在一些实施例中，还可以将低光条件下将背光46用于摄像机模式下。在一个实施例中，配置选择模式模块110，以便根据由近程开关91所检测到透镜76的位置，在导航模式和摄像机模式之间进行切换。

图7示出了根据本发明的示例实施例，表示由导航模块112所执行的导航处理的方框图。在导航处理中，摄像机44周期性地以预定捕获速率(典型地，以每秒帧来测量)来捕获表面96的图像。图7表示单一图像帧的处理。如步骤202所示，配置设备10来捕获图像，并且如步骤204所示，然后，利用在本领域中已知的方法对图像进行滤波，尤其是使对比度加强和调节亮度。在导航模式下，不需要摄像机44的彩色容量和全分辨率，因此适合于移动设备所典型具有的有限处理资源，在一个示例实施例中，将滤波的图像转换为锐利对比度的黑白或灰度图像，然后在各种实施例中，通过将像素组合为群集和/或如步骤206所示的那样丢弃所选像素，减小其分辨率。通过非限定性示例，在各种示例实施例中，将图像的分辨率减小到相对较低分辨率的图像，例如32×32像素或16×16像素，尽管也可以使用其他分辨率。这样的转换简化了图像的处理。

如步骤208所示，然后，将转换后的图像存储在导航图像缓存器中，从而可以将其与前面和后面的图像进行比较。如步骤210所示，将存储的转换后的图像与一个或多个先前存储的转换后的图像进行比较，以确定从前面的图像开始设备10已经移动的相对距离、以及相对移动的方向。然后，将盖信息转换为沿X和Y坐标(dX和dY)的相对移动，如步骤212所示。

通过非限定性示例，可以使用修改后的Reichardt算法来处理转换后的低分辨率图像以确定dX和dY。在该算法中，通过定位图像的过零边缘并确定其在顺序图像中的外观或再现，来检测运动。识别在两个顺序图像之间的共同特征，以确定其间的距离。然后，将该信息转换为X和Y坐标。还根据图像捕获速率(为已知值)和计算出的图像间移动的距离，来计算移动的速度。

如步骤214所示，根据dX和dY来移动屏幕上指针84。在一个实施例中，移动屏幕上指针84的方向对应于计算出的设备10的移动方向。在另一示例中，在设备10的移动的相反方向上移动屏幕上指针84。屏幕上指针84所移动的距离是dX和dY的比例值，比例因子取决于移动距离和速度。在设备10处于导航模式下的同时，连续地重复步骤202-214。一旦指针84处于所需位置，用户将一个或多个预定的按键92和90用于选择和控制功能。在各种实施例中，省略了图7中的一些步骤，以及/或者按照与附图所示不同的次序来进行图7中的一些步骤。

因此，将会意识到，本发明可以将板上摄像机44用作屏幕上导航设备。在各个实施例中，摄像机44位于与在设备10的背面不同的位置处，并且设备10具有除了上述示例实施例之外的其他不同的结构。例如，可以从键盘32向外来定位摄像机44，从而用户可以通过在键盘区上移动其手掌或其拇指来进行导航。通过非限定性实施例，图8示出了根据本发明的另一实施例的手持式设备10。手持式设备100类似于设备10，手持式设备100的键盘32包括紧接着其定位摄像机44的拇指驱动的QWERTY键盘，并且手持式设备10的主体或外壳102包括可旋转地安装在一起的第一外壳部分104和第二外壳部分106。第二外壳部分106容纳显示器22，而第一外壳部分104容纳键盘32，将所述键盘32配置为拇指型的。在手持式设备100中，通过在第一外壳部分104的正面上的开口76，设置摄像机44的透镜76和背光46。摄像机44面向与键盘32相同的方向，用于检测用户的手或拇指相对于手持式设备100的键盘表面的相对运动。

在一些实施例中，将摄像机可旋转地安装到手持式设备的外壳上，从而可以对其进行旋转，以使其面向用户所需的方向，用于导航目的。通过示例，在图8中以虚线示出了可旋转安装的摄像机44和背光单元108。可以从外壳103上拆卸摄像机44和背光单元108。

在不需要摄像机和扫描模式的一些实施例中，可以使用低分辨率的光传感器来替代摄像机44。在一些实施例中，透镜76是可拆卸的，从而可以由专门适合于设备10所操作的模式的透镜—例如，可以使用不同的透镜，用于与摄像机模式不同的导航模式。

本发明的上述实施例仅是示例性的。在不脱离由所附权利要求所限定的本发明的范围的情况下，可以由本领域的技术人员对特定实施例实施替代、修改、改变。