同时显示文本字符和再现墨迹的触摸屏设备和方法

摘要

一种能在用户接口的公用区域中同时地、对比明显地显示文本字符(34)和再现墨迹(36)的触摸屏设备和方法。上述文本字符(34)和再现墨迹(36)被以对比明显的方式显示出来以便同时显示出来的文本字符(34)和再现墨迹(36)能彼此独立地清晰可辨。

说明书

本发明涉及在一个用户接口的公用区域中同时显示文本字符和再现墨迹的触摸屏设备和方法。

许多小型电子设备，诸如个人数字助理、灵巧电话、掌上型个人计算机等现在都装有一个触感显示屏幕作为用来与该设备上应用进行交互以及向该设备输入信息的主要装置。对于具有小型屏幕的小型设备来讲，手写输入是非常有效的输入方法之一。特别是许多小型设备目前均使用一种图形用户接口(GUI)，在该图形用户接口中，屏幕的某些部分(通常是一个或多个方框)被专门用于书写区域进行手写输入。标准GUI的这种使用方法不能非常有效利用屏幕资源，特别是当还要显示专用书写区域的同时，必须显示该用户希望应答的信息(例如一条消息)以及显示该用户的响应的时候更是如此。

因此，需要有一种方法和设备，能够允许在GUI上显示最大数量的信息，同时还要允许在触摸屏设备上进行手写输入。

现在仅用举例的方式，结合附图，对本发明的一个优选实施例进行说明，其中：

图1所示的是做为本发明的优选实施例的一个触摸屏设备的方框图；和

图2所示的是根据本发明的优选实施例的再现墨迹(renderingink)点之间的空间关系。

本发明的优选实施例描述一个触摸屏设备(以下称为“设备”)，该设备允许使用整个图形用户接口(以下称为“GUI”)显示文本字符，同时允许该整个GUI用作再现墨迹(以下称为“再现墨迹”)的一个输入区域。因此，该设备被用来在GUI上同时显示文本字符、再现墨迹以及其它GUI元素，诸如按钮、图标等，因此允许在GUI上最大量地显示信息。

正如图1中所示，设备10结构上由一个触感表面12和一个显示单元14(例如，一个液晶显示)构成。该触感表面12被覆盖在显示单元14的上面形成设备10。该触感表面最好是一个电阻栅格，但也可以是一个电感栅格、电容栅格或本技术领域中熟知的任何其它触感表面。

设备10的内部电路系统元件包括一个触摸设备驱动器18、一个墨迹再现器20、一个点集合缓冲器22、一个识别器24(手写和/或字符)、一个主显示存储器26以及一个显示驱动器28组成。该设备10的这些元件最好被嵌入一个计算设备16(例如一台个人计算机、一台便携式设备、一台微处理器等)内，或嵌在其上。

另外，该设备10还可以进一步包含一个模拟-数字转换器(以下称为一个“A/D转换器”)29和/或一个显示控制器30，它们通常是硬件元件。应该注意的是A/D转换器29可被能够给出或者笛卡尔坐标(以下称为“点”)或者行和列标志的任何设备或方法所代替，包括但不局限于具有LED接收器的光发射二极管(LED)、光笔(使用扫描行转换器电路)以及激光。

一个指针32被用来在触感表面12上书写再现墨迹36。该指针32或者是一支铁笔、一个手指、一支笔或者是任何其它能够被用来在触感表面12上书写墨迹36的对象。对触感面12的这种压力被A/D转换器29转译成点。

当再现墨迹36被书写在触感表面12上时，触摸设备驱动器18从A/D转器29读取构成再现墨迹36的每一个点。当触摸设备驱动器18在指针落下事件中(即，当该指针第一次接触触感表面12时)，接收到第一个点时，该触摸设备驱动器18必须首先确定该指针落下事件是表示一个书写墨迹事件还是代表一些其它用户接口事件。其它用户接口事件一般被称为热点动作并且相当于一个按动按钮或按键事件，相当于一个选择事件等。

热点38、40是预定义的屏幕区域(例如在设备10上显示一个按钮、一个图标或者一个按键的区域)。在指定为热点的区域内发生的指针落下事件被解释为激活该热点。在本发明的优选实施例中，假定所有其它与触摸屏相关的用户接口事件都是热点激活事件。例如在设备10底部附近有两个显示为按钮的热点区域。在“发送”按钮区域38内使用指针32触摸设备10使得当前被组成的消息得以发送。同样地，在“撤消”按钮区域40内触摸设备10使得当前被组成的消息得以撤销。

任何落在热点区域外面的指针落下事件均被解释为书写墨迹事件。对于前述规则存在一个重要的例外：如果一个指针落下事件被解释为一个连续笔划事件(如下面定义的)的部分，那么即使该指针落在一个热点区域之内，该指针落下事件仍被认为是一个书写墨迹事件。

触摸设备驱动器18向墨迹再现器传送每个点，而墨迹再现器20对显示在设备10上的点格式化。墨迹再现器20接收新点并显示它们。如果在新点和前一个点之间的时间间隔等于或小于某第一门限(例如，足够地小)，并且在这些点之间的x和y像素上的绝对位移等于或小于某第二门限(例如足够地小)，那么该新点被认为是表示前一个点的一个连续延伸，并且被显示为与前一个点相连接的一条连线。这被称为一个连续笔划事件。

如果在书写墨迹事件之间的时间间隔大于某第一门限，或者在x和y像素上的位移大于某第二门限，那么该新点被显示为一个孤立的点，并且不与前一个点相连接。例如，如图2所示，点1和点2在空间和时间上均足够近，故被显示为一个连续笔划的部分，而点2和点3无论在空间上还是在时间上都相距太远，故不能被连接成一个笔划。因此，点3被认为是另一个笔划的开始。

点集合缓冲器22收集来自墨迹再现器20的点并且通过记录点所对应的数值，在内部对这些点进行缓冲，直到一个字符被写完为止。

识别器24检索来自点集合缓冲器22的点，并且将单个笔划和多笔划组与一个预存储的字符模板的存贮器进行比较。在本技术领域，有种类繁多的识别器24(例如，正如在美国专利号5,742,705中所描述的并且在这里加以引用的)，而且本发明适合于与任何种类的识别器24一同运行，无论该识别器24对单独显示的单字符进行操作还是对用草体或半草体手写的字符组进行操作。识别器24实现对点集合中的手写体和/或字符的识别，并将产生的字符的字符编码传送给墨迹再现器20。

在显示设备10上画出产生的字符的每一点，这里通过以下方式实现的：墨迹再现器20在主显示存储器中的与上述每个点相对应的存储器位置上-与某给定点相对应的位置-存储一个值1。在该设备10上所显示的文本字符34和再现墨迹36需要某些像素处于开或关状态，因此墨迹再现器20将主显示存储器26中的对应的存储单元设置成特定值。

主显示存储器26存储决定在GUI上所显示的内容的数值。被描述的技术领域中的许多简单的显示单元14仅需要存储器的一个比特来表示在显示单元14上的每个像素，即所谓的一比特一像素，这意味着对于每个像素存在两种可能的状态(例如，颜色)：开或关。主显示存储器26将这些数值传送给显示驱动器28。

显示驱动器28把从主显示存储器26中接收到的数值映射成显示单元14上的像素的行和列。通常，已被识别的文本字符34排队等待被绘制的速度完全不同于墨迹36的绘制速度。

显示控制器30接收来自显示驱动器28的数值的映射，并据此更新(或刷新)显示单元14。重点注意的是显示控制器30可用任何具有刷新功能或者能触发显示单元14刷新功能的设备来代替。

本发明的优选实施例中利用了最简单形式的显示单元14，每个像素仅具有两种状态：黑或白。在这种情况下，文本字符34和墨迹36通过使用黑色像素的不同密度来加以区分。使用设备10所允许的最高密度来显示文本字符34，而使用黑色像素的较低密度(典型值为50％)来显示墨迹36。例如，文本字符34的每个水平行上的每个像素都是“通”状态，而对墨迹36则是每隔一个像素处于“通”状态。应该注意到如果一个像素在文本字符34中或墨迹36中是“通”状态，那么该像素被接通。在这种情况下，一个简单的或运算将文本字符34和墨迹36结合起来。

本发明所解决的一个难点问题是文本字符34和墨迹36必须同时被显示在GUI上而且彼此互相不覆盖。根据显示单元14的特性，这可通过几种方法加以实现。

当今使用的许多显示单元14，其像素不是仅有两种状态，而是支持几种灰度或许多不同颜色。当使用具有多种状态的像素的显示单元14时，文本字符34和墨迹36都可用设备10的全部像素密度来显示，只不过分别使用不同的色调和颜色而已。例如，暗颜色(如黑色)能够被用来显示文本字符34，而亮颜色(如灰色)能够被用来显示墨迹36或反之亦然。

另外，一种灰色和不同像素密度的组合能够用来显示文本字符34或者墨迹36。例如，一个相对黑的图像或某第一种像素密度能够被用来在GUI上显示文本字符34，而一个相对不太黑的图像或某第二种不太密的像素密度能够被用来在GUI上显示墨迹36。

另一种方法是用与文本字符34相同的颜色和线条填充模式来显示墨迹36，但是墨迹36的线条看起来明显地比文本字符的那些线条粗，反之亦然。例如，如图1所示，如果一个指针笔尖的大小(即，在显示单元14上用来绘制一个单个点的像素大小)用于墨迹36是3×3，而用于文本字符34是1×1，那么墨迹36看起来会比文本字符34更加逼真，并由此会产生的墨迹36看起来是在文本字符34之上(或顶上)的错觉。这种排列方式使得文本字符34和墨迹36能同时被看到。如果一个像素是一个文本字符34和墨迹36两者的一部分，那么该像素显示为文本字符34的灰度、颜色或像素密度。

另外，如果设备10使用一台监视器或者设备10有一个背景光，那么可以调整亮度以便在文本字符34和墨迹36之间进行区分。也可以使用闪光墨迹在文本字符34和墨迹36之间进行区分。因此，以上述描述的方法中的任意一种来显示文本字符34和墨迹36都允许设备10在GUI公用区域中同时显示文本字符34和墨迹36。

在GUI的公用区域中同时显示文本字符34和墨迹36同时在该公共区域中还包含有其它GUI对象的第一种替代方法被称为双缓冲。其结构和内部电路系统元件与前面所描述的基本相同，只是增加了一个辅助显示存储器42。需重点注意的是主显示存储器26所表示的是被映射到显示单元14的所有像素的存储位置。辅助显示存储器42至少要足够大到可以显示在激活的书写区域中的像素，而且还可与主显示存储器26同样大小。

在设备10上绘制墨迹以显示一个新字符之前，存储在主显示存储器26中的数值被拷贝到辅助显示存储器42。然后，可在激活的绘图区域中的任何地方自由地绘制出墨迹；甚至能够在激活的绘图区域内的文本字符34和其它GUI对象上面绘制墨迹。

按照第一种替代方法，为了擦除手写在触感表面12的墨迹36，墨迹再现器20通过对存储在点集合缓冲器22中的所有点进行迭代来确定墨迹36的边界矩形坐标(x_min，y_min，x_max，y_max)。墨迹再现器20利用这些坐标来确定辅助显示存储器42内的起始地址和终止地址(划分出将被拷贝的存储器的一个范围)以及主显示存储器26内的起始地址和终止地址(划分出将被代替的存储器的一个范围)。墨迹再现器20将来自辅助显示存储器42的上述存储区域拷贝到主显示存储器26。将来自辅助显示存储器42的已定义的存储区域拷贝到主显示存储器26可以将主显示存储器26恢复为其原始数值，由此擦除墨迹36并且恢复GUI的外观。此时，在GUI上的文本字符14被更新用来显示或由识别器24识别的任何字符。

当系统性能成为一个问题时(例如，使用一个低性能的中央处理器)，第二种替代方法被用来在GUI的公用区域中同时显示文本字符34和墨迹36，该公用区域包含其它GUI对象。

其结构和内部电路系统元件基本上以前面所述的相同。第二种替代方法通过对在主显示存储器26中的与用于给出一个手写输入的字符的墨迹36的所有像素相对应的所有数值执行异或(X-OR)运算来实现。

显示单元14每个像素都有一个点位置和与此相应的一个颜色值(例如，0代表白色或1代表黑色)。墨迹再现器20把从触摸设备驱动器18接收到的每个点存储在点集合缓冲器22中。墨迹再现器20也通过利用每个点的x和y坐标来计算主显示存储器26中一个存储单元的地址以便产生目标存储单元的办法来给出设备10上的每个点。随后墨迹再现器20在目标存储单元中的当前颜色值和1(一个常数)之间执行异或运算。注意，为了简单，异或门没有在图1中画出。然后，异或运算的结果被存储在主显示存储器26中的同一个目标存储单元中。这种类型的一个异或运算能够产生下列输出结果之一：如果当前1被存储在目标存储单元中，那么1异或(X-OR)1等于0，而0成为被存储在那个目标存储单元中的新值；否则，如果当今0被存储在目标存储单元中，那么1异或0等于1，而1变成新值，被存储在那个目标存储单元中。

为了在第二种替代方法中擦除墨迹；墨迹再现器20通过对点集合缓冲器22中的每一个点进行相同的异或运算来重新绘制出它们。对于每个点重复异或运算可有效的将已产生的存储单元恢复到它们的原始数据，由此擦除墨迹36并恢复GUI的外观。此时，在GUI的文本字符34被更新用来显示任何由识别器24识别的字符。

尽管本发明已被结合着它的一个特定的实施例进行了描述，但对那些精通本领域的人来讲，对本发明进行一些改进和某些修改是很容易的。因此，从较广泛的方面讲，本发明不局限于所显示和描述的特定的细节、典型的设备和图示的实例。根据前面的描述，对本发明进行各种替代、修改和变动对那些精通本技术领域的人来说是显而易见的。因此应该明白本发明不局限于前述的描述，它还包括所有那些符合后附的权利要求书中所申请的宗旨和范围的各种替换、修改和变动。