首页> 中国专利> 跟踪一书写工具的运动

跟踪一书写工具的运动

摘要

由邻近放置的传感器跟踪书写工具的运动。由该传感器产生的信号被处理并以多种方式使用。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2012-12-26

    未缴年费专利权终止 IPC(主分类):G06F3/033 授权公告日:20070411 终止日期:20111027 申请日:20001027

    专利权的终止

  • 2007-04-11

    授权

    授权

  • 2005-06-01

    实质审查的生效

    实质审查的生效

  • 2005-03-23

    公开

    公开

说明书

本申请要求1999年10月27日申请的、题为Electronic Portable Penthat Captures Handwriting and Drawing with IR Sensing PSD BeaconSystem的美国临时专利申请号60/161752、2000年4月10日申请的、题为Using Handwritten Information的美国临时申请号60/195491以及2000年9月8日申请的、题为Electronic Pen with a Keyboard Template的美国临时申请号__,并且是1999年8月18日申请的、题为ElectronicPortable Pen Apparatus and Method的美国专利申请号09/376,837的部分继续申请的权益,全部都合并作为参考。

背景

本发明涉及跟踪一书写工具的运动。

通过跟踪一只笔的运动,例如当用该笔在纸上撰写或者描画时,可以用电子方法捕获和重现正在撰写或者描画的东西。还可以跟踪在一撰写表面上没有留下痕迹的那些笔尖的运动。

在某些建议的方法中,笔被移动的表面可以具有一个象素或者其它感测位置的阵列,当该笔在该位置时每个感测位置作出响应。

在其它技术中,完全通过镶嵌在笔尖上的电子装置完成该笔跟踪。在某些设计中,正在移动的笔与独立于该笔的静态传感器通信,并使用三角测量算法跟踪该运动。

概要

总的来说,在一个方面中,本发明特征是一种方法,该方法包括传送来自一正在移动的书写工具的光线,作为该书写工具在一个二维书写表面上的位置和路径的指示;以两个或更多传感器感测该光线并产生表示所感测的光线的一序列信号;以及应用一种技术,用于减少光线强度的变化沿相对于所产生信号的第三方向的变化的影响。

本发明的实施可以包括一个或多个以下特征。该技术可以基于被设定为增强传感器的信号响应的一致性的光学特性。该透镜可以是一球面透镜或者一非球面透镜。该传感器可以是一感光像素元件阵列或者模拟传感器。该技术可以基于对所产生的信号算法处理。该算法处理可以包括根据与书写工具相联系的参数对该传感器信号响应的线性化。该技术可以以数字硬件或者以模拟电路实施。该算法技术除了可以减少尺寸效应以外还可以减少光线强度的变化的影响。该信号可以按帧分组,并且该信号处理技术可以包括多帧处理以便消除噪音。可以以一个与由该传感器产生信号的速率相关的频率调制该移动书写工具传送的光线,并且可以在该调制频率将该传感器信号分路。根据自该书写工具传送的相应于该信号的光线的亮或者灭状态,可以将相反的增益施加到每一个被分路的信号。帧速率可以变化。该已分路信号将来可以按时间积分。由该书写工具传送来的该光线可以包括一个被施加在该调制频率上强短脉冲,一个锁相回路根据来自该传感器信号确定该调制频率,而在该强短脉冲持续时期内,可以在由该锁相回路触发的时刻对该传感器信号采样。所传送的光线的特征可以被用来在书写工具和传感器之间进行同步。所传送的光线可以包括低频调制周期和高频调制脉冲串,而与该高频脉冲串相联系的该传感器信号可以被用来锁定一个调制时钟。

总的来说,在另一方面中,本发明特征是一种方法,该方法包括沿一种时间变化的方向图案传送来自一正在移动的书写工具的光线,用两个或更多位于与该书写工具空间分离的两个或更多不同的位置的传感器感测该光线,以及通过检测由该两个或更多传感器所测量的信号之间的一个相差确定该书写工具的位置。

本发明的实施可以包括一个或多个以下特征。该时间变化的方向图案可以包括一种相对于该书写工具在上移动的X-Y面的旋转图案。沿正X轴方向发射光线的该信号与沿Y纵轴方向发射光线的信号相位正交。

总的来说,在另一方面中,本发明的特点是设备,该设备包括传感器,被设定为接收来自一个正在一个X-Y书写表面移动的一书写工具的光线,该光线具有沿垂直于该书写表面的Z轴方向的强度变化,以及光学器件,被设定为增强自该书写工具接收的该光线的光强度。

本发明的实施可以包括一个或多个以下特征。该光学器件可以是一球面透镜或者一个非球面透镜。该光学器件可以包括单个球面透镜,并且该透镜与相应的传感器被一起设定为增强以较大角度或者较长距离接收的或者在该书写工具的不利位置接收的光线的光强度。该光学器件可以包括一专用透镜,被设定为增强从该X-Y表面上的一个除一预定位置以外的位置接收的该光线的光强度。该光学器件可以包括两个柱面透镜,一个接近该传感器,用于将光线水平地投射到传感器上,而另一个被定位,用于采集Z轴方向的光线,另一个透镜具有一种绕第一透镜弯曲的形体。该算法处理可以增强该信号对于由该书写工具倾斜或者是与该书写工具的距离所引起的所接收光线的强度变化的抗扰性。该处理可以确定该传感器上的全体信号分布的整数幂(integral power),并根据该整数幂位置的一半计算一个子象素的位置。该处理可以对该信号分布使用一多项式近似法并以近似的最大位置计算一个子象素位置。该校准过程可以生成用于与该传感器特性结合使用的参数。

该校准参数可以校正该光学器件和该传感器的制造缺陷,并且该算法处理可以使用一种正直三角测量技术以便确定该书写工具的一位置。该校准参数可以校正该光学器件和传感器的制造缺陷,并且当在该校准过程期间确定了多项式中的系数时,该算法处理可以使用多项式级数确定该书写工具的位置。

总的来说,在另一方面中,本发明的特征是一种方法,该方法包括以一个传感器的一个感应元件阵列接收来自一正在移动的书写工具的光线,按序读取该感应元件,以便产生一个由该元件阵列所感测的光线的信号序列指示,以及在每一元件被读取以后以及在该阵列中的至少一些其它元件被读取以前复位该元件。

本发明的实施可以包括一个或多个以下特征。该阵列可以包括一个CMOS或者CCD位置传感器。在所有的元件被复位以前读取所有的元件。

总的来说,在另一方面中,本发明的特征是一种方法,该方法包括根据信号确定该正在移动的书写工具的一序列三维位置。

总的来说,在另一方面中,本发明的特征是一书写工具的组合,包括一个长形外壳,被设定为手持式,一个在该外壳中的光源,以及一个在该外壳中的透镜,被设定为接收来自该光源的光线并经由一个真空路径将该光线传送给与该书写工具空间分离的光量传感器,该透镜被设定为半反射的。

总的来说,在本发明的另一方面中,该光源包括一个环绕该书写工具的轴排列的光源阵列,并被设定为沿垂直于该轴的一个方向发射光线。

本发明的实施可以包括一个或多个以下特征。该透镜可以被设定为内部反射和集中该光线并通过从该透镜的一个反射外表面反射将该光线发射。该透镜可以包括一个圆柱形的形体,该形体具有一个接收该光线的上部表面,一个将该光线反射给光量传感器的底部环形曲面。该反射外表面可以包括一个与该书写工具的纵轴成一个45度确定角度的锥式曲面。在该笔尖中的该光源可以包括在一个圆圈上排列的LEDs。

总的来说,在另一方面中,本发明的特征是一装置,被设定为响应于一个用户从该书写工具向一书写表面施加压力,将该光源开和关,该光源被设定,以便触发该装置所要求的压力量不会大到使该书写工具在该书写表面上的正常书写运动中断。

本发明的实施可以包括一个或多个以下特征。该书写工具可以包括一种具有一书写尖端的圆珠笔笔筒,并且该装置可以被放置在该笔筒远离书写尖端的一端。该装置可以是一个开关或者一个压力传感器。

总的来说,在另一方面中,该发明的特征是一个支持器,具有一个插座,用于接收该书写工具的至少一部分以便存放该书写工具,该书写工具和该支持器包含各自的元件,使能无线的传输与该书写工具的运动相联系的信号并根据该信号跟踪该书写运动。

在本发明的实施中,该支持器可以是一个笔帽,并且可能包括一个被设定为将该支持器附着到一叠纸或者一笔记本的夹子。该支持器可以包括至少两个光传感器和一个处理器,该处理器处理来自该光传感器的信号以便确定该书写工具的一序列位置。该支持器可以包括一个插座用于握住该书写工具并使得该书写工具中的电池能够再充电。

总的来说,在另一方面,本发明的特征是一种元件,使能无线的传输与该书写工具的运动相联系的一个信号并根据该信号跟踪该书写运动,该元件被嵌入一个蜂窝电话、一个PDA、一个WEB个人数字助理或者一个有纸夹的写字板。

总的来说,在另一方面中,该发明的特征是一个支持器,具有一种用于将该支持器沿一方向附着至一个书写底板的机构,使该元件能与该无线的传输连同使用。该夹子机构可以包括一个当操作该夹子机构时激活该支持器中的处理器的功能的开关。

总的来说,在另一方面中,本发明的特征是一个支持器,包括一个用于该书写工具的插座和一个相连接的再充电电路,用于当该书写工具在该插座中时对电池重新充电。

总的来说,在另一方面中,该发明的特征是一种CMOS传感器,适用于接收与一个书写工具的运动相联系的光线,并适用于提供用于指示相对于一个已知方向光线接收的角度的信号,以及一个透镜,被定位以便将接收的光线对准该CMOS阵列。

在本发明的实施中,该透镜可以为采集来自该书写工具的运动所发生的区域的光线并被最优化。该透镜可以是一个向场透镜或者一个菲涅耳透镜。该透镜系统可以被设定为沿一个垂直于该书写工具运动平面的方向采集光线,并沿与该运动平面平行的方向将该光线投射到该传感器上。

总的来说,在另一方面中,本发明的特征是校正,通过以一书写表面上的连续位置为一书写工具定位,从处于该连续位置的该书写工具接收的光线在传感器生成信号,以及确定为该书写工具确定用于校准一种处理的校准参数,该处理用于在该书写工具移动时确定其位置。

在本发明的实施中,该校准参数可以包括多项式级数中使用的系数,该多项式级数用于该位置确定处理的一部分。

在本发明的实施中,该位置不在规则矩形栅格上。

总的来说,在另一方面中,本发明的特征是(1)在一书写表面上识别相应于要被输入到一电子装置中的输入元素的位置,该书写表面是非电子的并且独立于该电子装置,(2)使用一书写工具以便点触所识别的位置中那些相应于要被输入的输入元素的选定位置,以及(3)感测该位置,在该位置该书写工具被点触并将该相应的数据输入到该电子装置里。

在本发明的实施中,该书写表面包括一张纸,该输入元素包括在该书写表面上打印的语言的字符或者命令。

总的来说,在另一方面中,本发明的特征是在一非电子书写表面上移动一书写工具以便指示一路径,以及远端感测该路径,并产生用于将该路径输入到一个独立于该书写表面的电子装置里的信号。

总的来说,在另一方面中,本发明的特征是以一预定频率调制光线,该光线是自一正在移动的书写工具传送给与该书写工具空间分离的光敏元件,以及使用一个与该传感器相联系的锁相回路以便锁定该已调制光的相位。

总的来说,在另一方面中,本发明的特征是,电路,通过使用一书写工具和一个静态元件之间的无线信号传输跟踪该书写工具的电路,该静态元件包括一个主处理器和一个单独的预处理器,该预处理器被连接,用于至少执行关于该书写工具的运动的数据采集,该主处理器被连接,用于至少执行关于该跟踪的数据通信。

在本发明的实施中,该预处理器还可以被连接以便执行用户界面功能和子象素数据存储,而该主处理器还可以被连接以便执行背景消除以及子象素计算。

总的来说,在另一方面中,本发明的特征是一反光元件,该反光元件被设定为将从该书写工具外面接收的光线反射给用于跟踪该书写工具的运动的传感器。

在本发明的实施中,该反光元件可以在该书写工具正在被用来书写的时候将光线反射给该传感器,而在该书写工具不被用来书写的时候禁止该反光元件将光线反射给该传感器。

总的来说,在另一方面中,本发明的特征是用一个具有一感光像素元件的光敏元件阵列,自一个正在移动的书写工具接收光线,并确定在阵列中自该书写工具接收到的光线已是最大强度的位置,该位置以子象素精度被确定。

在本发明的实施中,该子象素位置通过确定接近于该子象素位置的整数像素位置确定该子象素位置,以及查找一个以该整数像素位置为中心的子阵列的一个部分重心。

总的来说,在另一方面中,本发明的特征是在一个非电子表面上指示相应于对一电子装置的输入的位置,并检测该位置将它们输入到电子装置里。

总的来说,在另一方面中,本发明的特征是用于固定纸张的夹子,在该固定的纸张上该书写工具将被移动到该传感器。

在本发明的实施中,该机构可以是一个有夹紧纸张装置的写字板或者一个笔记本的一部分,该夹子可以包括一个机构,使一个用户能夹住或者释出该纸张。该夹子可以包括一个激活按钮和一个弹簧和一个通过该按钮操作的杠杆。该杠杆可以被配置为响应于该按钮而旋转。该按钮可以被配置为被推或者拉。其它优点和特征将由以下说明书和权利要求书而变得明白。

附图说明

图1示出笔跟踪。

图2示出一只笔。

图3示出一只笔中的透镜。

图4示出一只笔中的透镜。

图5和6示出一只笔中的光线反射。

图7示出一种跟踪方法。

图8示出一只笔。

图9示出一只笔。

图10示出一个支持器。

图11示出一个传感器的前方的一个透镜。

图12示出一个支持器。

图13示出一个支持器。

图14和15示出一个支持器的一半。

图16示出该支持器的另一半。

图17示出一个视域。

图18示出一个块电路图。

图19示出一个状态图。

图20示出一时序图。

图21示出一次序图。

图22示出跟踪的几何图形。

图23示出一个电路图。

图24示出一次序图。

图25和26示出一种旋转射束技术。

图27示出一个信道图。

图28示出一个信道回路。

图29示出一个纸制键盘。

图30示出一个球面透镜。

图31示出一个非球面透镜。

图32示出一种双透镜方案。

图33示出一种夹子。

图34示出一种夹子。

图35示出一种滑动皮带夹子。

图36示出一种夹子的两种视图。

图37示出一种夹子的两种视图。

我们描述一种电子无线笔,该笔除了在书写表面上留下一个可见的痕迹的常规功能之外还发射红外线(IR),该红外线通过外部的红外传感器采集,以测量相对于该传感器的笔的位置。该传感器是CMOS或者CCD线性或者二维阵列,位置敏感检测器(PSD)或者其它光敏探测器。该传感器可以被夹在书写表面的边缘,提供在那些页面上的书写的再现。通过将该传感器的读取数据映像至该笔尖在纸张上实际的XY位置来确定该笔的位置。

该电子输入装置看来像一只具有一个支持器的常规笔。

用户用它正如用任何普通的笔在纸、笔记本或者任何其它平面上书写。它被用于捕获手写文本或者绘画。通过将传感器的测量记录到它的存储器里,该笔在它的使用期间存储它的全部运动。然后该笔将它下载至一个计算机、个人数字助理、便携计算机或者便携式电话。然后,当该手写出现在一个页面上时,根据该传感器信息被自动地再现它。

如图1所示,在一张纸或者其它书写表面14上留下以常用方式书写或者描画的可见痕迹12的一只笔或者其它书写工具10,还可以具有一个源16,该源16发射红外线(IR)18,用于自动地跟踪该笔的运动。通过在一附近位置例如接近该纸张的边缘23的位置并相对于该笔保持静止的红外传感器20、22检测该光线。

该传感器发出表示该笔在书写表面上的位置(例如,角度24)的信号序列,在连续的测量时间的每一时刻在该位置接收来自该笔的光线。与该传感器相联系的电路使用一种算法,用于处理方向信息(以及该传感器之间的已知距离26)以便当该笔在书写表面上移动时确定它的连续的位置。该算法可以使用一数学模型,将该传感器的像素信号转化为该书写表面上的位置。该算法可以是一种使用校准参数的(从透镜到传感器的距离以及它们的折射率的中心之间的水平偏离距)准三角测量算法,或者可以是一种多项式近似法。

该被跟踪的笔的运动可用于识别使用该笔创建的笔迹或者捕获由该笔创建的图画或者用于其它多种应用。该被跟踪的运动信息可以被发送给本地个人电脑或者经由一个人数字助理、一便携计算机或者一便携式电话发送给一中央计算机用于中央存储与处理。

用两维或者单维的传感器跟踪光源

源于一只笔的跟踪XY的问题可以如下形式化。

该笔携带一接近于笔尖的有限的光源。该源发射光线,该光线在测试点的强度取决于以源为原点的该测试点的XYZ位置。

一多路检波器位于另一位置。它采集由笔上的源发射的光线的某部分。传送给不同的信道的强度根据信道输入相对于源的位置的XYZ位置而变化。强度数据足以计算源相对于该检测器的XYZ位置。强度数据还受包括源不稳定性、检测器噪声及其它类别的噪音的影响。

我们仅仅对获得源于该笔的XY图感兴趣。实际上、所有的三个坐标将由于书写表面上厚度不规则性以及笔在书写期间斜度的变化而变化。

随着噪音,这将引起信道读出数据中的复杂的变化。

有不同的处理这样的信号的方式:加权平均(重心)、中值计算、阈值处理等等。它们大都考虑噪声消除并将源的Z向运动也视为噪音。

我们的目标是建立这样一种被检测信号的性质,该被检测信号对于笔的Z向运动以及某些噪声源是不变量。

为了该目的,我们引入一种在一检波器和该源之间的孔径。例如该孔径可以包含一透镜。由此我们获得一个空间限幅的信号。这意味着存在由信号和噪音(在一线性阵列检波器的情况下是一部分)同时激励的一组的闭合的检波器信道设备。该组由仅仅由噪音激励的信道围绕。缺少一孔径时,所有的信道都由信号和噪音两者激励。

在创建这样一种信号以后我们建立一特定点(例如最大值)并定义一个以延伸超过该空间限幅信号的方式环绕该点的处理窗口。然后对照信道编号计算该处理窗口内部的数据的一个累积分布函数。这些函数的半大小点在信道编号上的投影产生该不变量性质。当信道编号是整数时,该不变量性质可以是分数的。

基本上有两种检波器,二维或者一维的。每种检波器可以是一个双信道检波器如一PSD,或者一个“多信道”的检波器如一个CMOS和CCD装置。PSD检波器具有两个输出信号,其比率定义入射光点的相对位置。CMOS和CCD检波器具有许多像素。每一个像素定义该检波器上的一个特定的空间并具有一模拟输出。这些模拟输出可以为了在固件或者软件中的后续处理而被数字化,或者可以由模拟设备处理。软件中使用的算法也可以由同样的方法用硬件替换实施。

一种校准过程

不必获得该检波器对于笔运动的线性响应,因为已经以其它已知的方法建议了。

如果使用简单的三角测量将一个检波器读出数据解释为一个笔的XY图位置,将需要一个线性响应

在一个笔的装置图位置和左右检波器(L和R)读出数据之间存在一种明确的从属性,如下:

X=Fx(L,R);

Y=Fy(L,R)。;

这些函数可以被表示为多项式级数。

这些多项式中的系数可以在校准过程期间被确定。

在校准过程期间,该笔被放置在该纸张上已知的不同的XY位置中,并获得和存储两个检波器的读出数据用于将来的处理。在已经累积了足够的数目的点以后,使用普通的线性代数方法计算(1)中的系数。

我们知道系统(1)实质上是非线性的。以这样一种方法可以在整个书写区域上获得必需的分辩率的方式对校准点定位很重要。我们不对一个常规矩形栅格中的结点处的校准点定位。作为替代,我们使用数学模型,为对我们的检波器的特定的非线性的性质匹配一个校准栅格。

另一种校准过程

如果根据检波器数据使用简单的三角测量计算一个笔的XY图位置,我们有意地将一个误差引入到我们的检波器的几何参数里,以便把上述讨论到的非线性的性质考虑进去。

依靠我们的设计,我们准确地知道我们的检波器中的透镜的折射率以及透镜和传感器之间的距离。同时已经证明了,通过改变三角测量计算中的这些值,人们可以有效地补偿检波器的非线性性质。

为了获得折射率的有效值和透镜与传感器之间距离的有效值,我们运行另一校准过程。对于书写区域上的适当的分辩率需要不同的XY图位置的校准点。通过数学模型获得用于这些被中断的三角测量的校准点的位置。

如图2所示,在一个例子中,该笔中的红外线源可以是一个的LED13,当在书写期间施加压力时,在笔尖17发射红外线15。在该例子中,该LED源13由一个环绕在笔的纵轴21周围排列的一个LEDs环19构成(仅仅示出两个LEDs)。

来自该LEDs的光线向下投射到笔尖并被投射进作为导光管使用的丙烯酸材料的笔体/透镜18。该丙烯酸透镜散射和传输所接收的光线以便由该笔发射的光线被沿环绕该笔的各个方向的光路传送。

如图3所示,该管18被抛光,并且是反光的,集中来自LEDs19内部的的光线502,而不让光线逃离到旁边的方向。该管的底部以在该管的底部45度锥形面504抛光。一个反光的柱状壳体506有助于限制和引起由LED发射的光线的混合。一个锥体508支持该导光管。在该管内向下的直射光由该锥形面504反射并被以环绕该笔的所有的角度传送到空气中。

图5和6图示该导光管中的光线的内部反射的侧视图和上视图。来自该LEDs的大多数光线通过该笔的壳体的长度并以90度角反射向传感器。其它的光线以不同于90度的角度找到离开该笔的路线。

如图2所示,该笔发出的光线被限制在一个靠近该书写表面13的垂直空间11内,以便尽可能多的光线可以达到传感器(没有示出),该传感器也被安置在该书写表面的一个小的距离内。

可以使用其它具有不同的导光管和透镜形状的结构,包括图4中示出的一种,它们可以在LED和该导光管之间的更好的耦合,并且可以更有效的拆分光线并将光线对准到位于该管的底部的反光表面。

在该例子中的该笔(图2)包括一只圆珠笔笔筒23,其终端是一个书写尖端25。在用户在书写期间对该书写尖端施加压力的时候,一个压力开关26发出一个信号,该信号可用于开启该LEDs,还可用于触发装在该笔上的电路28的功能。电路28和LED19由一个电池30供电。这些元件全部被保存在一个外壳15中。

如图7所示,该笔在一个与该书写表面平行的x-y坐标系40中的位置由两个由两个传感器20、22感测的α角和β角以及传感器之间的已知距离26确定。

在另一例子中,如图8所示,该笔由三个存放于该笔背后(为了更好的重量分布,将该电池移动到接近于笔尖而该电路被置于后面)的微型AAA类镍镉可充电电池51供电。

该电池直接向该电子线路28供电,而没有任何直流到直流的变换器。只有当该压力开关26被激活时才输送该电力。该光线激活开关仅仅移动一个短距离(例如,0.25mm)。该开关由一个弹簧机构预压以便将笔芯的行程最小化,这应该不会超过0.008-0.010英寸。

压力传感器可能是一种对笔芯上的压力和LED的激活进行有效的匹配的方式,正如许多流行的开关一样具有一个超过所要求的20至30克水平的激活压力。

位于该电池后的该电子板28为红外线LED产生大约100Hz和50%占空比的调制脉冲,以及为睡眠模式以1至10kHz的脉冲串产生笔开启和笔断开信号。

该笔发出的该光线沿各个方向都是可见的,以便使得该笔可以在手中沿任何方向使用。该发射光越接近该笔尖,由于笔与纸的角度变化引起的误差就越少,而对该笔尖的跟踪就越准确。该LED光线应该位于远离可见光谱的红外线范围内,以便来自太阳和照明器具的环境光线不会过度干扰该红外发射,并且对于人眼也是不可见的。

对该笔的红外线源和该支持器中的该传感器的方向进行设置,以保证当该笔在正常书写或者描画期间侧斜和旋转时,它的红外线光束可到达该传感器。

图9示出部分组装的笔的一个更详细等角视图

笔支持器

如图1和10所示,该传感器可以被放在一个典型的笔帽70中,当不使用时该笔可以保存于其中。

当该笔正在使用时,该笔被除掉笔帽并且该笔帽被放置在接近该书写表面并在该笔附近的一个固定的位置。在某些例子,该传感器是线性CMOS阵列(例如可以使用来自光电视觉系统的1024象素阵列,LLC(PVS)(邮箱509,科特兰,NY13045)(元件编号LIS1024))。还可以使用PVS或者其它具有同样的或者不同的像素数目的公司的其它线形CMOS传感器。每个传感器的模拟输出是一个1024个模拟信号的序列,每个信号来自每一个传感器像素。

如图10所示,该支持器可以包括一个夹子62,用于将该支持器附着到一叠纸或一个笔记本的边缘。

当书写开始时(例如,该笔开始发射光线),使用位于该支持器的中间的一个光电二极管56形式的第三传感器将该处理器自一睡眠模式(下面描述)唤醒。

该第三传感器信号还可以用于对该传感器系统中的电路与笔中的电路进行同步。所有的三个传感器都由面向书写表面的红外滤光片窗口覆盖。

如图11所示,在一个例子中,每一主传感器的前表面100具有一个125微米的垂直高度104和一个距该透镜110的前表面108四毫米的距离106。该FOV112是10度。当该笔尖是在该纸张116上时该笔尖114将红外线光线指向该FOV中。

如图17所示,这两个传感器88.90以100毫米间隔放置。每一传感器具有一个以一个FOV轴195、197为中心的视域(FOV)94、96。该FOV的轴不是平行的而是以一个角度199内倾的,以便增加该FOV的重叠量。每个传感器的FOV具有一个水平(xy)平面上的150°的宽度和一个垂直面上的+/-5°的高度。

该FOV没有覆盖该书写表面15上接近于该纸张的边缘303的某些位置101,并且该FOV被设置,以便该死区域98不会延伸超过该支持器25mm。

在一个笔支持器的另一例子中,如图12所示,该传感器117和该透镜119被安装在一个在前面具有红外滤光片123的支持座架121上。该座架被安装在一个印刷电路板125上并被容纳在一个外壳127中。两个主传感器的中心分隔100mm。

由两个传感器采集来自该笔的光线,以便在一个定义范围(8.5×11英寸)内识别一个已调制光源的线性位置。该线性位置可以是用三角测量、查找表格、多项式近似法或者这些方法的任一组合计算。

该传感器是平面的,线性的多像素传感器。当该光源在该场内的不同的位置时,每一传感器的不同像素均被照明。当该光源在该场上移动时,该经过该传感器的像素的该光线的相应运动可能不是线性的,但是这种线性的缺乏可以被解决,因为该线性位置可以通过数学和光学知识与来自这一对传感器的校准数据的结合来计算。

我们不是寻找来自该传感器的一线性响应,而是设法将落在该传感器上的书写区域之内的光线最佳化。通过使用先前的校准过程存储的参数获得书写的正确再现。在某些实施中(在如下所示的多项式例子中,参数的数目可能更大,并以一个单独文件提供),该系统仅仅使用四个参数,由每只笔传送给一主机或者服务器来处理和线性化这些数据。用于一只笔的该特定校准参数在生产检验和校准期间被存储在该笔的存储器中。该参数还可以被存储在服务器上或者是用户使用的个人计算机上,而不用在下载期间从该笔传送。

每个传感器附有一个透镜或者一组透镜。该光学系统的目标是将光线传送的效率最佳化,覆盖该整个视域的场,在整个场提供一个一致的信号响应,以及使该光学系统尽可能小而便宜。该目标部分通过以下步骤实现:

如图30所示,一个球面透镜753用来将光线聚焦在传感器755上。该焦平面具有一个半圆的形状。从该透镜到该传感器的距离759是最佳化的,而该透镜的其它光学和机械性能包括焦距、直径、厚度和材料。

如图31所示,一个非球面镜头760可以被设计为具有一个在当该光源在场的外围移动时位于传感器上的焦点,由该光源的提供给该传感器的全部能量在该处最弱。由此,该非球面透镜被设计成具有一个焦平面,它仅仅对于在该页面的外围上的点是与传感器的平面一致。在该页面内的点将不会聚焦,但是落在该传感器上的量将明显的更大(接近于传感器或者更好的角度),并且该信号更强。

如图32所示(包括上面的一个上视图和下面的一个侧面的),可以用两个垂直的柱面透镜770、771代替一个透镜。该传感器的距离限制了该透镜在水平方向轴上的焦距。因此该透镜直径必须小并且该透镜必须位于接近于该传感器的位置。在该垂直轴上,该透镜可能更加远离传感器,所以该直径可以更大。该更大的直径允许从光源采集更多光线。第一柱面(在该透镜附近)沿水平方向轴聚焦该光线。该透镜可以是球面的,因为在水平方向轴光点直径不是非常重要并且在我们的给定场内不会变化太多。第二柱面具有垂直轴方向的能量。在垂直方向上在该传感器上聚焦尽可能多的光是很重要的。为了使这一点成为事实,该光线必须对于任何角度从该柱面到该传感器都传播相等的距离。为了完成这一点,第二柱面应该被弯曲成非球面形状。两个柱面透镜中任何一个都可以是菲涅耳透镜以便节省空间。

在图13、14、15和16中所示的笔支持器的一个更详细的例子中,该传感器系统被容纳在一个具有底部80和顶部82的外壳79中。该底部80包含一个夹子62(没有示出)。当压下一个夹子按钮86时,可以将纸插入该夹子62和该笔支持器的底部之间。当释放该按钮时,该夹子夹紧该纸张。该笔夹子容纳一叠7mm厚的纸张或者一个标准记事本83。该夹子将该笔支持器放置在该纸张上,以便面向该笔的侧面87垂直,倾斜不超过+/-1°,从而保证当使用该笔在表面上书写时,该传感器接收来自该笔的红外线。

该支持器还可以仅仅位于纸或者笔记本的上面而不必使用夹子。

在图13-16所示的支持器中,这两个传感器被安装在红外滤光片窗口89、91后而该光电二极管93装在中间。一个“墨水池”95可以接收该笔尖97用于临时存放,而一个管子99提供一个存入该笔的地方。该笔可以被完全地插入该管子中而该笔中的电池可以在存放期间被再充电。

用于操作该夹子的各种机构可能包括1999年8月18日申请的美国专利申请号09/376,837中示出的例子。

在一种方案中,使用在图33中示出的夹子机构。该图示出在操作该机构中的步骤,如下。

步骤1:机构没有被激活。

步骤2:当按钮780压在一个弹簧782上时,后者释放座架733,并让该铰链弹簧784打开该夹子785。

步骤3:将纸786插在该夹子和该笔支持器的壳体787中间。

步骤4:杠杆785(该夹子)抵住该纸张,而明显弱于该铰链弹簧的弹簧788退让并开始下陷。该夹子绕着旋转点789旋转。

步骤5:该夹子将该纸张压在该支持器的底部。弹簧788下陷,而两个杠杆都根据插入的纸量下降。

一个夹子按钮可用于通过一个杠杆将水平运动转换为垂直运动,从而降低该夹子。也就是,该按钮可以按压一个杠杆,该杠杆旋转将水平运动转换为垂直运动,从而降低该夹子。

该机构被展示于图34中。该夹子具有两个连接到一个水平条792的纵向滑动条790、791。在该水平条和该支持器的壳体之间有一个弹簧793。有两个纵向导向设备794、795用于使该纵向条上上下下滑动。

在该图的底部的侧视图中,当该按钮没有按下时,该弹簧自始至终是向上的并且该夹子被压向该笔杆壳体(该图的左边)。当该按钮被按下时(该图的右边),该弹簧被按下而该夹子(现在看该前视图)在该滑动设备之间下降。在纸张被插入并且该按钮被释放以后,该弹簧向上推动该夹子而该机构在该夹子和该笔杆壳体之间卡住该纸张。

该按钮可以沿多个轴移动一个杠杆以便降低该夹子。

该按钮可以激活一个杠杆线性地旋转和移动以便降低该夹子。

在另一方案中,如图36中所示,该操作员在一个滑动板(按钮)901上按下。该滑动按钮接触两个顶簧杆903、905的中心,以该按钮/板的相同方向向下移动这些支点。该杠杆的底部终端被固定在旋转插脚907、909的周围,从而该底部终端向下移动大约两倍于该按钮的距离。该杠杆的顶部终端装有插脚911、913,这两个插脚被安放在导向槽915、917和两个自该底部夹子垂直地上弯小突起中。最后的结果是该夹子的垂直向下运动,这大约是该按钮/板的移动的距离的两倍。

也可以是,如图35所示,该滑动板930可以被水平方向放入并且借助于一个刚性的弹性带子,获得所要求的结果即与该按钮的垂直运动相反的水平推动运动。

如图37所示,另一方法可以是通过该按钮951的一个牵拉运动获得的,如果在该机构中作用于这两个杠杆953、955的力从该杠杆的中间移动到底部终端,并且该杠杆的支点移动到位于自该顶部终端到该底部终端距离的1/3的一点。这将提供必要的机械效益,以便维持该夹子移动的距离相对于该按钮的行程的该2∶1比率。

在两种机构中,在杠杆上施加力的点相对于转动中心的这种定位可用于增加该夹子的机械位移。

笔支持器电路

图18中示出该支持器的一个电路方框图。通过一个电池511、或者由一个交流电压转换器513、或者通过将一个USB连接到一个主机211来为一个专用集成电路ASIC205供电。这两个CMOS传感器201、203具有输出,通过运算放大器169、171经由一个多路传输180以及一个12位A-D转换器使165、167连接到专用集成电路。

该CMOS传感器的模拟输出以偏移量消除和自动增益控制形式进行信号处理。该处理的信噪比要求为该CMOS传感器和所有的模拟信号处理电路使用5v电源。某些模-数转换器以2.5v参考操作,并且来自该CMOS传感器的信号可以使用一个电阻分压器用因数2按比例缩小。

该专用集成电路ASIC可以是来自Sound Vision的model Clarity 2B,位于framingham MA)并且基于一个ARM7核心。该专用集成电路ASIC固件实施数据采集、数据存储、文件系统、I/O服务(LED和开关)、RS232以及USB通信、用于空闲和睡眠模式的功率调节、光学校准和测试模式。

该多路复用器使该A-D转换器182能在两个CMOS阵列201和203之间交替执行以便将两个传感器之间的时间差最小化。该A-D转换器的时钟脉冲频率是1.2MHz。每一CMOS传感器是600khz的时钟。数据采集使用该专用集成电路ASIC的直接存储器存取(DMA)装置。

由一个锁相环路513驱动该专用集成电路的一种唤醒输入,该锁相环路513接收来自该光电二极管的输入信号。该光电二极管由来自该笔的已调制光驱动。

该专用集成电路ASIC由一个48兆赫晶体和一个时钟分配器517进行时钟控制。经由一个USB端口211和一个RS232/IrDA端口209提供I/O特征。在SDRAM207中处理固件和数据并被存储到一个闪速存储器519中。可以为用户显示屏提供一个可选的LCD172。

USB提供两种自支持器到个人计算机的数据传送方式:成批的和实时的。实时传输是中断驱动的并用作键盘和鼠标的替换应用。

一种双重功能收发器用来实施RS232和IrDA两种通信。该RS232通信被用作通过拨号连接到通过蜂窝电话的服务器。

该支持器可以支持不同种外部连接,包括USB,串行的,并列的,IrDA,蓝牙(Bluetooth),防火墙或者任何种类的通信端口。当掉电时,如果该支持器连接到任何外部装置,它具有一种自动供电的能力。它还具有当一外部装置断开连接时自己断电的能力。对于该支持器有两种连接:

一种连接是一种外部存储器类型的连接。用一个称为主机的计算机或者其它装置构成这样一种连接,该主机能够显示图形并具有一个满足要求的用户界面。当连接到一个主机装置时,该支持器相当于一个外部存储器装置。该主机装置的一个用户可以通过该支持器浏览文件系统,复制、查看以及编辑先前由该支持器收集的文件。驻留在该主机中的软件能够在该主机屏幕上转换、显示、打印以及编辑在该支持器上存储的文件,或者从该支持器复制到该主机。当连接到该主机时,该笔还可以作为一个实时输入装置使用。

连接的另一种类型是使用一种便携式网络或者调制解调器使能装置,比如一个蜂窝电话。当检测到这样一种连接时,该笔支持器自动地开始将先前收集的所有数据以电子邮件或者传真的方式进行传输。

该可选LCD显示屏向用户通知该笔的状态,例如关于通过通信不是可靠的已备因特网的便携式电话进行的连接和下载。该显示屏可以被安装在该支持器的上面。如果使用一个LCD,可能不需要该LED。

一个单独的三色(绿色,黄色,红色)LED170(参见图18)指示书写数据的正常采集,通过便携式电话下载到一个个人计算机,以及电池和存储器状态的监视。

笔、夹子以及墨水池开关141、143和145用来控制该专用集成电路ASIC,而一个复位开关147用来复位该专用集成电路ASIC。

图19示出所发明的操作状态的一个状态图。阴影块指示研究状态。明亮块指示中间状态。在其它情况中,该图标识使用多色LED指示该操作状态的方式。

在加电时,当存储器中有页面时,该绿灯闪烁相同的时间。当该存储器是空的时,在加电时该绿灯不亮,而如果该用户开始书写之后30秒或者不久就停止闪烁。

在书写期间,当正确地进行数据采集时,该LED是浅绿色。该绿灯由于例如阻隔光线、笔离开书写表面或者电池用完等触发的故障检测而熄灭。

当没有书写发生时,由一个闪烁黄色灯光指示电池容量低状态。然而当书写时,如果该电池容量低该黄色与浅绿色灯光间歇地闪烁。

当书写没有发生时由黄色灯光的加倍闪烁指示存储器几乎全满,而当书写发生时由黄色与浅绿色灯光间歇地闪烁指示存储器几乎全满。

在成功的下载后,由一个亮绿色灯光指示下载状态(无论该笔在该支持器或者墨水池中还是外面都可以独立地开始)。闪烁的绿色表示下载在进行中。当没有有效的下载业务或者下载信号很弱时,一个红灯闪烁。对于一个因特网问题例如当一个服务器掉线时,该红灯加倍闪烁。一种三倍闪烁的红灯指示通信的错误设置包括错误的用户标识符或者服务器地址。这需要在来自笔的数据与数据库中记录的数据匹配不成功后,将一个代码从服务器返回给笔。

电池再充电状态在成功重新充电以后由一个连续的绿灯指示,而当把该支持器插入交流整流器并充电时由一个多重闪烁的绿灯指示。一个来自电池监视电路的信号与来自一个充电器的快速充电信号(当没有充电时为高)的组合可以标识该状态,是否在处理中充电或者涓流充电。

该笔能在充电期间被使用。如果该笔从该墨水池移开并在充电期间使用,该黄色灯光被替换为如上所述的所有的正常指示灯。

由一个连续的黄色灯光指示书写到闪现闪存状态。

通过激活笔或者以后言及的墨水池两只开关中的任何一个,所有的故障均被复位。唯一的例外是当成功下载和用户开始书写的时候。然后该恒定的亮绿色灯光将转变成一个浅绿色光。

在睡眠模式中,所有的故障指示、低存储容量和低电池容量都以正常方式延续。所有的下载故障还继续保留。

如果该专用集成电路ASIC需要在加电期间指示低存储容量或者低电池容量情况,该加电指示获得优先权。然后在超时30秒以后显示该故障指示。如果该专用集成电路ASIC需要在下载期间指示低存储容量或者低电池容量情况,该下载指示优先。在复位下载状态以后,显示该故障指示。

接通的该四个支持器中,该夹子开关141以一种方式指示该夹子正在打开和闭合,以便通知该电路该用户开始一次换页。该笔开关143指示何时笔在该支持器中或者在该支持器以外。 一个墨水池开关145指示何时该笔在该墨水池中或者在该墨水池以外。该复位开关147被隐藏可使用一纸夹经由该底部中的一个洞可以使用。

该笔开关和该墨水池开关指示何时该笔在该支持器中或者该墨水池中,并当该笔在该支持器或者该墨水池中时除去数据采集和存储电子装置的电源。该笔开关还在激活时打开新文件(或者页),而该墨水池开关不做。

该夹子开关指示何时该夹子被激活,而且以及一次换页和一个新文件的开始(每一页是一个文件)。

如果该软件冻结,该复位开关复位该专用集成电路ASIC。该开关通常如下打开:

笔     当该笔在该支持器以外时打开。

墨水池 当该笔在该墨水池以外时打开。

夹子   当该夹子按钮被释放时打开。

复位   当开关被压下时打开。

该支持器还包括一个USB和RS232接口的小型连接器以及一个用于使用蓝牙(Bluetooth)或者其它无线技术的天线。该USB和RS232连接器还被连接到该唤醒供电电路,以便笔支持器在把电缆插进该小型连接器的时候可以自己供电。

由该传感器生成的角度信号由该专用集成电路ASIC处理并存储在闪存中,以便用于向其它装置比如便携式电话、PDA和PC(没有示出)传输,在那里它们被用于手写体识别或者捕获图画。例如,可以使用USB、RS232、IrDA或者蓝牙(Bluetooth)协议执行该传输。

文件系统

该闪速存储器的结构是FAT(文件分配表)兼容文件系统,其中每一文件表示一个手写信息页面。每一文件具有一个12字符的唯一名称,包括3个字符的扩展名和一个分隔“点”。

数据文件创建

当一个用户通过将该笔从支持器拿出,或者在该笔已经处于书写模式时通过按下换页夹子按钮而使该笔进入书写模式时,创建了一个新文件,并且后来的书写被保存在一个新文件中。如果该用户在创建新文件以后没有实际地执行更多书写,所新创的文件被删除,而在当下一次笔进入书写模式时,重新使用同样的文件名。

在数据采集期间,未压缩数据被存储在SDRAM中的一个临时的缓存器中,并且在被存储到闪速存储器中的一个文件中以前由一个数据存储作业压缩该数据。每一页被存储在一个单独的文件中。前一页在开始采集新页以前被压缩。

数据文件格式

我们使用一种基于具有立方近似值的可变速率哈夫曼编码的二进制压缩格式。这样一种格式包括编码数据坐标和时间戳。

在被压缩以前,该文件具有以下格式:

该文件以四个字节段byte segments构造。每一段相应于一个像素或者一个时间戳。每一个像素具有一个为零的最高有效位(MSB),并由两个15位数字组成,该这是相应CMOS传感器的子坐标。通过一个的最高有效位辨别时间戳,并且该时间戳可以存储下一像素的完整日期与时间(称作完整时间戳),或者可以存储自上次完整时间戳以来像素的增量计数器。

每一文件都从该完整时间戳开始。在每一书写笔划的末尾插入一个加1的时间戳。因为按时均匀地扫描所有的像素,这样一种时间戳的组合使能在将来处理中有效地恢复笔迹的整个历史记录。

数据的下载

当该支持器使用一个USB电缆与一个人计算机通连时,该个人计算机自动地将该支持器识别为一个PC兼容USB装置,并且通过该个人计算机文件系统扩展名,该支持器文件系统的内容对于该个人计算机变得可见。该用户可以通过它浏览以及使用一笔迹查看程序以观看该文件。

当一个RS232电缆在该支持器和例如一便携式电话之间通连时,该支持器自动地自己供电,并且开始从该支持器的存储器的数据文件传输到该电话。还可以进行红外线数据传输到该电话。

该数据以压缩形式发送到该服务器并被保存在那里直到被请求发往一收件人。然后它被解压缩和转换为以下格式中的一种:.gif,.pdf,.gif,专用于电子邮件或者传真通信业务的.ps。

传感器信号预处理

在某些例子,可以使用一预处理器(没有示出)进行背景消除以及向闪速存储器中的存储,同时该专用集成电路ASIC处理器执行所有的通信和I/O功能。该预处理器可以用一种可编程设备形式实施,比如PLD,FPGA或者数字专用集成电路ASIC或者一个DSP。在该例子中,根据由该锁相环路(PLL)恢复的该笔的LED调制频率,执行一个倍频操作以便产生一个高频像素时钟和一个用于该预处理器的时钟。

第二处理器可以是另一便携式装置,比如一个便携式电话或者PDA的一个处理器。

数据采集

目标座标是在10毫秒相隔的连续的采样空间中采集的,以便为0.5毫米的分辩率以通常的5厘米每秒的速度捕获足够的书写运动。该专用集成电路ASIC作为一个主操作,为传感器产生时钟和所有的必需信号。

该支持器中的传感器使用来自该专用集成电路ASIC的像素时钟。由每一传感器产生一个帧信号并被回读到该专用集成电路ASIC里。因此,在某些实施中,来自该笔的该LED脉冲以及在该支持器上执行的信号采集没有同步化。在其它例子中,该数据采集与该笔的调制频率同步。同步化有效地改善了角分辨率。

在每一采样周期中,获得该笔的位置坐标,自两个传感器捕获数据。该背景消除算法的一种方案(与笔异步)需要在每一传感器捕获三个相邻帧。另外的一帧由用于传感器复位的该专用集成电路ASIC体系结构使用。

为了将两个传感器的坐标不齐量最小化,该多路信道数据采集对于每一个像素在两个传感器之间交替进行。

以一个1.2MHz的最大采样率操作该A-D转换器并在两个传感器之间交替进行,允许直到600kHz的像素采样频率。每一CMOS阵列具有1024+4个像素,这产生大约600Hz的帧速率。可以使用300Hz的缓慢速率获得更多的像素曝光以及相应地更好的信噪比。

每一传感器以一种模式操作,该模式中每一个像素在被读取到A/D转换器里以后被复位。

该红外线LED占空比是三帧周期的50%。对于该占空比,该LED频率不能超过200Hz。

为了消除背景噪声和低频串扰而无需同步的目的,需要三个1024像素的数据帧,如下所述。

除该主模拟输出之外,每一CMOS还发出END_FRAME信号。由每一CMOS,对于该三个连续的数据帧中的每一帧的采集周期都是开始于该END_FRAME信号,这与帧的最后的像素一致。在该PIXEL_CLOCK脉冲的下降沿发生每一A-D转换。点的总数基本上是(1024+4)*3,其中1024是该CMOS阵列的长度,4是该END_FRAME信号和下一帧开始之间的时钟脉冲的数目,而3是实施背景补偿所需的连续的帧的数目。

根据所获得的波形,该专用集成电路提取三个阵列,每个相当于1024像素。该阵列必须被正确地定位以便它们中的每一个中的第i个单元相应于该CMOS的的第i个像素。

让我们将这些阵列称作A1、A2和A3。根据以等于帧速率的1/3的频率和50%的占空比调制该笔中的LED的事实进行背景补偿。为了实现背景补偿,在该阵列上以单元方式执行以下计算:A12=abs(A1-A2);A23=abs(A2-A3);A13=abs(A1-A3)。然后阵列A12、A13和A23被以单元形式相加以形成一个新的阵列,称作A。

该阵列A是1024单元长并且携带具有背景消除的光束信息。

为了可靠地除去在END_FRAME脉冲期间的像素波形中出现的大峰值,可以提取比1024单元短的子阵列,例如三个1020单元长的子数组,该子数组起始于像素3、1032和2061(基于0)。

这两个传感器的读出数据被同时(或者当仅仅利用一个A-D转换器时具有多路信道的准同时)数字化。

以子象素分辩率沿CMOS阵列查找峰位

确定每一传感器接收光线的角度取决于沿该传感器的阵列确定峰值光强度的像素位置。用于以子象素分辩率查找峰位的该算法使用两个参数:T,以伏特为单位的强度阈值,以及W,以像素为单位的窗口宽度。这些参数的典型值是T=0.1V和W=15。

作为一个初始步骤,查找该阵列中的峰值和它的下标,将它们称作Amax和M。如果这两个Amax值(相应于这两个传感器)中的任何一个小于T,则丢弃该点。在该情况中,该LED被认为是随该笔没有接触该纸张而关闭。如果M<W/2或者M>(1024-W/2),该点因为太接近视域的边缘而被丢弃。

从A中提取一个从单元M-W/2开始的W单元长的子阵列。如下查找它的部分重心:创建一个所提取子阵列的单元运行总和的阵列(称作S)。获取它的最后元素的值。将它除以2。利用线性的插入/查找表查找S中的该值位置的部分下标。将M-W/2与该值相加。这将成为在原始1024单元阵列中的光束重心的该部分下标。使它的符号反向后加上512(就1024单元长的A来说,或者就510单元长的A来说是510)。该结果P是相对于该传感器的轴的光束的部分位置(以像素为单位)。

子象素算法的使用允许以8至10的因子增加该象素分辨率。

计算相对于传感器轴的光源角度

作为前一计算的结果,我们具有每一传感器的光束的角坐标(以像素为单位)。我们将它们称作Pleft和Pright(从该笔端点的视角看该传感器)。我们根据该传感器的几何形状重新以弧度计算Ps。在一个例子中,该像素间距L=7.77微米,该透镜到该CMOS的距离是D=4800微米(通常的),该透镜材料的折射系数是N(对于玻璃是1.5,对于塑料是1.4,对于SF6是1.8)。将使用用于校正书写映像的校准数据来调整各参数,距离D、折射率N和水平偏离距和断开Off。

然后以F=arcsin(N*sin(arctan((P*L)/D)))的方式计算该角度(以弧度为单位)。

如图22中所示,需要以下参数来计算笛卡儿坐标系中的该光源位置:

传感器辐角(内倾)C(弧度),典型地30/57

基准B,传感器之间距离(mm);典型地150

左传感器:Kleft=tan(C-Fleft)

右传感器:Kright=tan(C+Fright)

X(mm)=B*Kright/(Kleft+Kright);

Y(mm)=Kleft*X

用于将一个点作为有效点接受的标准

以坐标对(X,Y)形式存储点。当将点存储到存储器里时,坐标被连续地存储,除非如下情况:

如果发现该信号低于该阈值(如上所述)则将一个标记(一对单值)写入该存储器,例如(NaN,NaN),这在后面将表示该笔被举起(NaN代表没有一个数字,如IEEE算法标准中所定义的)。然后,不向该文件添加新增数据点直到再次检测到该信号。该方法允许该笔准确地向该重放程序报知在那里所还原的轨迹线中断。

如果该信号是有效的,但是该笔位置同前一位置比较起来没有显著变化,则不向该存储器添加新增数据点,但是不同于无信号的情况,没有向该存储器写入标记。以(X1-X0)2+(Y1-Y0)2计算该移动正方形的尺寸。用于该移动正方形的有效典型值是0.04平方毫米。

没有将时间戳包括在一个文件中,因为对于恢复该笔的轨迹不需要该信息。

坐标被存储在暂时的缓冲器中并且仅仅在存储到闪速存储器以前被压缩。每一页面被存储在一个单独文件中。因此,不需要一页结束的标记。

完整时间戳将在第一有效像素以前被插入。每当该笔升离该纸张,在一页面(文件)上的所有其它时间戳将被加1和并被插入。不管该笔离开该纸张多久仅仅插入一个时间戳。

睡眠模式

当从该支持器或者该墨水池取出该笔供书写时,该专用集成电路ASIC以睡眠模式打开并等待直到检测到来自该笔的一光信号。

当该支持器被唤醒并检测到写入中断了预定时段时,该支持器回到节省电力的睡眠模式。该专用集成电路ASIC通过将它的正常48MHz时钟频率减少为750kHz进入睡眠模式。SDRAM刷新速率也相应地变化以便保持数据完整。

当该笔在该支持器或者该墨水池之内时,该支持器的电力几乎被完全地断开。RS232接收器和USB监控电路消耗微乎其微的维持电流。当该电路通过电缆连接到一个便携式电话或者通过USB电缆连接到一个人计算机时,一旦检测到RS232或者USB的激活电平,该电路醒来并为其余的电子装置启动电力当该笔在支持器之内时,该笔支持器被完全断开。

在睡眠模式中,该支持器电子装置的唯一功能是等待来自光电二极管和相关的锁相环路电路的一个指示该笔被激活的WAKEUP输入。在睡眠模式中,当该笔检验该光电二极管时,它在该时段之间消耗很少电力。

在写入期间,该笔传输已经调制的IR脉冲。该脉冲在该支持器处被检测,使该锁相环路唤醒该处理器,一旦该专用集成电路ASIC转换为48MHz系统时钟即开始正常的采集模式。

锁相环路(PLL)

当检测到来自该笔的该已调制的IR光线时,该笔LED的调制时钟(由输出光线中的1kHz脉冲串表示)用PLL电路132提取出调整到该红外线光线的调制频率。

所有的采集数据最初通过DMA存储到SDRAM134中。该SDRAM的刷新速率从采集模式到睡眠模式时保持不变。该存储要求对于已经压缩的50页面或者未压缩的10页面数据是1M字节。该5∶1压缩算法必须具有快速的和计算简单的编码而没有解码上的限制。

在书写期间所采集的数据最初是被存储在SDRAM中。当该笔回到该墨水池或者该笔时,或者换页开关136被激活时,该专用集成电路ASIC将所有数据从SDRAM的写入闪速存储器138。将一整页的手写文本数据写入闪存仅仅需要短暂的时间。在该支持器上通过点亮一黄色LED140为用户指示该传输。

8M比特的闪速存储器存储表示最大为50页面的手写文本的压缩文件。该压缩算法允许至少6至1压缩而没有可见的文本失真。

用于该支持器的电源

该支持器通过两个串联的AA NiMH电池提供3.0V的电力。当该笔在墨水池或者支持器中时,该笔的三个镍镉电池通过涓流充电。该笔的电池具有大容量并几乎未曾被完全充电过。该涓流充电足以维持该电池充电。当该笔和该笔支持器两个都在充电器中时提供一种专用模式,以便用该完全充电电流对包括该笔电池在内的所有电池充电。

电池寿命是十个手写页面或者一周的没有数据压缩用于存储在存储器中的平均量。一个一般的用户可以每秒钟写入2个字符,也就是120字符/分,也就是7200字符/小时。一般的手写页面大约是700个字符。为了产生十个页面,该电池必须工作5个小时。

当连接到一个USB端口时,该支持器可以从该USB主机得到电力。电池上的电荷被维持在足够高的电平以便在转变成USB电力之前启动该电路。来自该USB连接器的电力只是在该专用集成电路ASIC通过该USB链接建立通信联络以后被提供,并向该USB链接的另一端的个人计算机报知该连接是高电源。作为响应,该个人计算机提供直到0.5A的供电。电池充电电流被设置在0.4A,并被监控以便将该充电器转换为涓流充电。

当该笔被从支持器或者墨水池取出时,该笔支持器电路被激活。某些支持器电路如RS232驱动器和唤醒电源电路直接从该电池获取电力。

其它电路从一个通过一个板上开关稳压器根据2至3伏特的电池组电压产生的3.3v电源获取电力。当连接到一个USB链接时,该3.3v根据USB电源产生。

根据该3.3v电源为该模拟电路产生5v。

笔和支持器的同步

该笔和该笔接收器的同步可以产生更好的信号分辩率和相应地更好的写入的分辩率和角分辨率。

如图20所示,为了同步,该笔产生较高频脉冲的周期脉冲串401,比如1-10kHz的脉冲(作为建议我们示出某些时序图),这可以容易地通过锁相环路检测出。该锁相环路PLL不但检测该实际调制时钟而且检测它的相位,这可以产生一个信号用于启动数据采集并使它与该笔LED同步。

如图21所示,该控制信号LED_ON和LED_OFF触发信号采集。在这种情况下,仅仅需要两帧进行背景消除,一个在该笔LED亮的时候用于该IR信号,而另一个在该LED熄灭的时候用于该IR信号。

对于一个CMOS传感器,提供一个快门模式同时复位所有的像素。

每一采样仅仅有两个帧提高了采样率和分辩率,并且可以允许该处理器在采样之间进入空闲模式以便节省电力。

2维的CMOS阵列的使用

数字传感器的供应商到制造商生产小型的节省电力的传感器和具有图像处理电路的传感器,这些都可以集成到纸上的笔或者三维笔的应用中。

光点的三维定位可以使用两个二维光电阵列。在两个平面上的光点的投影定义3D空间中的一个单独的点。当一个三维位置的轨迹有效的时候,一个IR指针笔的运动可以控制在一台个人计算机屏幕上的一个三维物体。当该笔在空间移动时,它以任何方向拖拉或者旋转该物体。

从属模式(SLAVE MODE)

在其它实施中,在一种从属模式使用该基于专用集成电路ASIC的ARM7,该DMA可以处理数据采集但是由该笔光线检测电路(PLL)提供该垂直同步信号。

两个替换的模拟信道

可以使用两个单独的信道用于模拟信号处理和A-D转换。这样一种实施可以使用更多的经济的不需要快速的建立时间、频带宽度和转换速率的部件。

帧变化替换物

CMOS传感器具有一个受限的动态范围。尽管在该CMOS输出以后可以由两个CMOS同时使用一个可调的电子增益,该方案可能还不是理想的,因为两个原因。

首先,当该笔正在该纸张的某区域移动时,用于这两个CMOS的信号可能在大小方面不同,所以改变两者的增益可能会固定一个信号同时将另一信号降低到一个无法接受的电平。为了获得该页面上的适当的信号,对于每一CMOS具有单独的增益是有用的。其次,使用一个电子增益对于防止实际的CMOS饱和并没有做任何事情,这对于该传感器必须覆盖的区域是不可避免的。

该CMOS的增益可以通过独立地改变每一CMOS的辐照率来改变。如图21所示,该笔传输率保持在100Hz,而该CMOS的帧速率601在300Hz、600Hzand 1200Hz中间变换。在300Hz,该背景消除是直接顺向的。对于600Hz,该算法使用每隔一帧(帧1、3和5)。对于1200Hz,该算法使用每隔四帧(帧1、5和9)。该像素速率是300kHz、600kHz和1.2MHz。改变该帧速率可以由专用集成电路ASIC完成而无需其它任何硬件。

每一CMOS可以被直接连接到它自己的模数转换器ADC,或者两者都可以被通连到一个模拟数字转换器ADC,该模数转换器ADC将能处理1.5兆采样/秒,并且具有一个4V参考电压。然后该模拟数字转换器ADC可能被接入一个数字复用器,以便将该信号送入该专用集成电路ASIC。

基于方法的PSD

不用CMOS阵列,还可以使用两个PSD检测来自该笔的红外线光线。每一PSD确定在该笔与PSD之间的视线和该页面之间的角度。由这两个PSD确定的这两个角度以及PSD之间的距离足以计算该笔尖的位置。

即使使用红外滤光片,环境光线也将在PSD位置测量中引入误差。为了减少该误差,该笔的红外线被调制以便产生处于一调制频率并具有50%占空比的脉冲,如上所述。

可以使用两种模拟技术判别被转换为用于三角测量的角度的该PSD信号。

在一种称作同步解调并用于测试电子装置中的方法中,该入射同步光线脉冲在光调制频率被分路,并根据该LED是亮还是灭否将相反的增益(分别+1和-1)应用到那些信号。这可以减去背景噪声。然后一方面使用一响应于该信号变化时间常数对该信号积分,而另一方面平衡该噪音。在一个例子中,该调制频率可以是3kHz,而该脉冲振幅可以是ILEDpeak=Xma。

一种用于判定使用一种采样和保持技术的方法。该光信号的形状具有3kHz调制频率上的一50%的占空比,如前所述,还具有一个施加于该调制频率上的显着强烈的短脉冲。该调制频率由一个锁相环路PLL判定并被用来触发该采样和保持电路,而该强光脉冲被实际采样。该脉冲振幅是ILEDpeak=Xma而该脉冲持续时间T=Yusec。

PSD在它们的光敏面上感测和测量光线的位置是极精确的。它们是便宜的并只需要微乎其微的电力消耗。该PSD的实施也比CMOS的简单。

如图23所示,电流至电压变换是在四个信道中间的每一个上执行的,对于每一PSD各是两个。该四个模拟信号通过微控制器613(12位模-数转换器A/D)进行低频滤波605、同步检波607、积分609和数字转换611。在100Hz采样率执行A-D转换。该处理器在该笔在纸上造成痕迹的时候是激活的。该处理器执行信号采集并定期存储到闪速存储器里。图24示出一系统次序图。在没有制造痕迹的时候,该微控制器进入空闲模式,并在任意的一时段以后进入睡眠模式。

通过以下一个输入的中断或者轮询(TBD)的,该微控制器被从空闲模式或者睡眠模式唤醒:该四个模拟信道的一个,当处于其调制频率的该信号超过该比较器的某一阈值时;来自一个USB端口的一个中断,当检测到来自一主机的激活性存在时;它的按钮中的一个被按下。

当该RAM变满或/和到达一闪速存储器页面的界限条件时,该处理器从RAM向闪速存储器写数据。如果采集继续而该页已满,该微控制器开始向闪存写入。然而当没有写入时,该闪存操作中大部分应该在空闲周期期间执行。

每一PSD具有两个模拟信号处理的双信道。每一信道具有一电流至电压变换器,其输出被交流耦合到第一增益放大器。该信号用该脉冲发生IR LED(在笔上)的受调频率分路,当前是1kHz。

当LED发射光线时,该斩波器具有+1的增益。当没有灯光时,该增益是-1,因此该信号被同步地解调制。最后阶段是一积分器,其输出接近直流电。更确切地说,它是一个由于该放大器的反馈中的积分电容充电和放电的锯齿波形。

该模-数转换器A/D,或者一个基于PC的DAQ或者该微控制器的一个模-数转换器A/D,在给定时间间隔以该调制频率对该输出同步地采样,以便消除由于锯齿波形而产生的误差。

为了使用该模-数转换器A/D分辩率的所有的12位,使用该转换器的参考电压的一个动态变化。该微控制器总是用最高范围读取该模-数转换器信道然后将它分成一半直到该范围对于该信号是最佳的。

该斩波放大器使用用一个模拟电路在每一信道(总共四个信道)上检测到的该调制频率的仿形。该信号在第二增益级以后获取,为信号变换检测进行处理,然后恢复的调制脉冲经过“或”门以便驱动该斩波放大器模拟开关在+1和-1之间改变增益。

使用光电二极管的相移,旋转笔尖

如图25所示,如果在该笔尖使用一个旋转光源617,可以测量在支持器上的三个光电二极管619、620、621上信号之间的相差,以便查找该笔位置。

该笔尖上的旋转灯光可以使用若干(例如八个)通过T/N以定距离间隔的时间触发的LED623实现,其中T时该LED周期的整个时期,而N(例如8)是LED的数目。

该信号源在一X-Y面上的某位置。两个信号检测器619、620位于同一个平面上的两个其它固定位置。如果该信号源具有一种辐射模式以致沿正X轴方向发射光线的该信号与沿Y轴方向发射的信号相位正交(在该信号频率空间旋转),而该传播延时与该信号周期相比是可以忽略的,然后由从该检波器向该信号源拖出的两条交线637、639形成的该角度A1,将与在检波器测量的信号之间的相位差相同。

如果添加一个第三固定位置检波器621,则将因为三条线在信号源交叉而形成一个第二角度A2。同样地,处于交叉点的线之间的该角度A2将与该检波器之间测量的信号的相位差相同。通过应用一些基本的三角,可以通过该检波器的已知的固定位置和测量该检波器的信号的相位差查找在该X-Y面中该信号源的位置。如果以三个检波器之间相等的距离沿直线安排这三检波器,该计算变得不重要的。

参照图26,根据传感器所测量的角度计算B和A角,“a”和“b”如下:

有:a/A=d/R(1)

和b/B=d/R(2)

和B+A+b+a=180°(3),根据基本几何定理,

我们得到:B/A=b/a,(4),

和相应地B=A×b/a(5)

A=B×a/b(6);

现在将(3)代入(5)和(6)我们得到:

A×b/a+A+b+a=180°(7)以及

B×a/b+B+b+a=180°(8);

我们用它们解出A和B:

A=a×(180°-b-a)/(a+b)(9)

B=b×(180°-b-a)/(a+b)(10)

该笔尖上的旋转灯光可以使用若干(例如八个)通过T/N以定距离间隔的时间触发的LED623实现,其中T是该LED周期的整个时期,而N是LEDs的数目。例如,八个发射光线二极管(LED)可以沿一个指向外的圆圈上排列,以45度空间相隔并由相邻LEDs之间的一个具有45度相位差的信号振荡器驱动。

如图27和28所示,这三个检波器641可以是正本负(PIN)二极管光检测器,驱动一个由一个跨阻抗放大器643和一个高增益限幅器645组成的信号处理链642,以便消除检测信号中的任何振幅调制。

可以用两个边缘触发一位加减计数器类型鉴相器649、两个二进制计数器和一个在该信号频率上运行若干十进制的时钟完成相位检波。如果通连该计数器以致它们对每个时钟周期加1计数,在该时钟周期内一个传感器的相位提前于另外一个,而对于每个时钟周期递减计数,在该时钟周期内一个传感器的相位延后于另外一个,并设置一个第三计数器连续地加1计数,则一个微处理器可以周期地读取和复位所有的计数器,通过读取该连续地运行的计数器对来自连接到该鉴相器(由驱动)的这两个计数器的读取按比例缩放。该数目是这三个传感器之间的相位差(以斜率为单位),并与从该传感器到该源的线的交叉点之间的角度相同。然后计算该源相对于该传感器的位置是一个微不足道的任务。

笔光线激活开关替换物

可以使用不同的笔光线激活方法,包括导电橡胶,压敏材料或者应变仪。

压敏材料允许一个变动压力阈值和该切换点与该墨水流动之间的协调。这将会在该墨水制造一痕迹然而该笔并没有没激活的时候防止数据损失。例如,大多数圆珠笔芯在20至30gf+/-30%时释出墨水,同时一个现行开关在50至100gf and+/40gf激活,使得不可能实现墨水流动和数据采集的可靠的协调。专用笔芯可以被设计成能防止低于50gf的墨水流动,以致可以使用现行芯片开关。

笔光学器件替换物

可以使用另外一种方法用于从该笔尖发射光线。光学纤维可用于采集来自一LED的光线并以一个该笔尖周围的360°方式发射该光线。单独的LED芯片可以被设置在该笔尖周围并经由半反光透镜/窗口发射光线,以致发射50%的光线而另外的50%被内部反射以便与另外的光线混合,最终产生均匀的360°光照。可以使用专用环混合来自单一LED的光线从而为一致性重新分布这些光线。

无源的笔替换物

如果该IR光源被紧挨着该传感器设置,该笔可以是完全无源的。在接近笔尖的地方或者在笔尖将提供一个反射面。该传感器将会看到来自该笔尖的红外线的反射光并如上所述计算角度。

该笔尖必须只有当施压于纸张并且墨水形成痕迹时才反光。否则没有相应的痕迹在纸上时也会有数字形式的错误痕迹。

该反光机构的激活可以是机械的或者电气的。在一种机械实施中,在该笔尖上的压力将会打开一个护层并暴露该笔尖周围的反射面。在一种电气的实施中,在该笔尖上的压力将会激活液晶或者其它使该材料反射光线的光电技术。来自其它物体的反射光,如手指甲和戒指可以通过用偏振化红外线来解决。

无源的笔支持器

相反地,该支持器可以具有两个反射镜,而该笔既发射光线也接收反射光。在该笔上的传感元件可以是一种2维PSD或者CMOS阵列。如果使用平面二维传感器,该笔不会是全方向的,但足它可以形成一种定制的圆形二维传感器,这将具有360°覆盖范围。

键盘和鼠标替换体系结构

如上所述,该笔可用于替换标准的PC输入设备比如鼠标和键盘。

在用作键盘或者鼠标的代替物的时候,纸张、塑料或者其它平面可以带有一个印刷的键盘图案用作用于例如个人计算机、便携计算机和便携式电话的键盘以及鼠标垫。

现在,在输入数据到个人计算机、便携计算机或者蜂窝电话里的时候,用户多半受限于键盘、袖珍键盘或者在屏幕上的指触输入。在键盘是实际大小的时候是高效的和便利的,但是用于便携式装置比如掌上计算机以及便携式电话时就不行了。蜂窝电话的袖珍键盘对于拨打电话号码是有效的,但是在试图产生ASCII字母与符号的时候需要过多的击键,使任何类型的数据输入都成为一个非常冗长的和耗时的过程。掌上装置的屏幕上的指触输入为了将该装置需求的手写体识别的量最小化,需要该用户使用单一书写风格比如“graffiti”(粗糙雕刻),或者需要该用户在该屏幕上显示的虚拟键盘上轻敲。两者指触方法经常产生不正确的输入,限制了该装置的功能性。

电子笔可以通过提供一种高度可靠的方法的模式,用于输入文本字符的以及记录手写图像和线条。用户用一只笔键入所需要的全部只是一张纸或者其它任何表面(有或者没有一个键盘的印刷图案)。

该电子笔连同键盘模板的空间誊写能力用来代替鼠标或者键盘。该纸张键盘根据用户的需要可以是多种尺寸。尺寸可以从81/2×11张纸变动到一个蜂窝电话机盖的尺寸。该用户首先选择他期望的键盘尺寸,然后通过用该笔接触该键盘上的指定字符进行校准。为了键入一条消息,该用户在适当的键上接触该笔尖。在该笔接触该纸张相应于某一字母的正方形区域的时候,笔尖的该位置被计算出并确定所指定的字母。该方法允许该用户用一只电子笔在一个计算机上生成文本,而无需依赖任何手写体识别软件。

该方法比当前在不断地缩小的个人装置上的嵌入袖珍键盘、软件键盘或者在屏幕上的指触输入方法有改进。该纸制键盘使用户在手持式的和便携式电话上比替换方法更快速和更可靠地键入消息。该纸张还可以以其它模式使用以便记录绘制和手写的票据和图像。当完成的时候,该纸制键盘可以被丢弃或者折叠以备将来之用。

除字符之外,该键盘还可以包含快捷键和功能键,使能更有效的与小型装置交互。快捷键可以将启用命令所要求的击键数目减到最小。快捷键可以根据被输入装置类型进行定制。

该键盘还可以包括一个用作纸制鼠标垫的部分。通过使用该电子笔的空间的誊写能力,该用户可以在该纸张上一个指定的正方形空间内移动,以致随后在一个装置的屏幕上移动一个点。因此,该纸制鼠标用作按键和在屏幕上的指触的替换物,作为一种用于在一手持式的或者便携式电话的屏幕上导航的设备。

该纸张键盘还具有输入外国字符的灵活性。可以为若干种语言创建键盘,比如日语,韩国语,西班牙语,法语和俄语。如果希望输入一种不同的字母,用户可以仅仅打印出一种新的键盘。

如图29所示,为了键入一条消息,该用户在打印在一纸制键盘705上的适当的键703上接触该笔尖701。该笔被接触的位置通过跟踪器707跟踪,被转换为文本后发送给一个便携式装置比如一便携式电话711或者一掌上计算机709。

在使用后,该纸张键盘可以被折叠或者丢弃。

在其它实施中,没有打印的纸做键盘;而是当该笔用于在任何表面上书写时,经由手写体识别跟踪该笔的运动以得出文本、命令和图画。

在该方法的一种实施中,该鼠标和键盘可以继续被使用,而该笔用作一种替换物。该笔可以以″定点装置″(鼠标)模式或者″字符输入″(键盘)模式操作。该模式可以通过笔支持器或者笔上的一个专用硬件开关或者按钮选定,或者通过从个人计算机向支持器发送一个命令选定。

在鼠标模式中,笔操作与一个第二(USB)鼠标的操作是不能区别的。它是一种在屏幕上移动光标的相对定位定点装置。在键盘模式中,笔输入可以是通过一种专门设计的应用程序接收的,该应用程序使用一有效的字符识别器将图形输入(笔划)转换为字符。其它应用程序不知道该笔的存在并且继续使用常规(传统)键盘操作。

在另一方法中,该笔对该系统来说是唯一的输入装置。在这种情况下,一种软件驱动栈式存储器被修改以便提供全系统范围的键盘功能性。鼠标模式操作不影响并且和第一描述方法一致。在以键盘模式操作的时候,笔输入通过嵌入键盘过滤驱动内部的有效的手写体识别软件辨认,然后以与传统的键盘输入相似的方式传送给系统输入队列。

该第二方法需要一种平台可用性模型以及(很可能)某系统组成部分的修改,比如基本输入/输出系统(BIOS)。

两种方法增加人为因素以及可用性问题。具体来讲,存在两种手写体识别的基本途经:离散的(每次单独的字符)以及连续的(每次单词,短语或者页)。在前一种情况下,该用户为了反馈必须连续地依靠计算机屏幕输出。这可能是不灵活的,因为为了反馈而注视计算机屏幕必须经常中断该笔迹处理。在后面的情况中,用户仅仅偶尔必须注视屏幕,在一个书写单元(单词或者短语)完成以及根据需要改正它的时候。

自鼠标切换到笔输入方式可以通过可收起的笔芯动作执行。在该新补充物在该笔之内的时候(笔不能书写),它被用作一个鼠标。在书写被激活的时候,该笔用作一个键盘。

其它实施例在以下权利要求的范围之内。

该支持器不需要包括如上所述的一个墨水池,然而可以是任何种类的可以容纳该传感器的装置。该支持器可以是一个简单的笔帽,如之前所示,或者可以是其它任何类型装置,不管它是否紧密配合或者将该笔盖住,也不管它是否包括一个夹子。例如,该支持器可以并入一个有纸夹的写字板或者一个笔记本。

该笔中的光线可以是光纤,将光线传递到笔尖,并将它沿该笔周围各个方向以一种如圆盘的图案传送该光线。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号