与具有半透明表面的屏幕一起使用的用户输入装置、系统、方法以及计算机程序

摘要

一种用户界面输入装置和方法，所述装置和方法允许通过处理由观察半透明屏幕的相对面的摄像机生成的影像，检测何时以及何处用户触摸所述屏幕的表面。一种输入设备和系统包括：半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像，所述第一侧与在该处发生用户交互的第二侧相对；以及图像处理器，所述图像处理器连接到所述图像捕获设备的输出，以便通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。

说明书

技术领域

本发明的教导一般地涉及用户界面(UI)系统与设备，更具体地说，涉及采用触摸屏的UI系统，并且更具体地说，涉及使用半透明屏幕或面板的UI触摸屏系统。

背景技术

半透明面板是一种理想类型的输入面板或屏幕。例如，可以参考Rekimoto等人的US 6,414,672 B2，“Information Input Apparatus(信息输入装置)”。

通常，用于制造触摸屏的传统技术依靠在所述屏幕上覆盖一层或多层电敏玻璃。然而，由于恶意破坏和其他因素的可能性，该方法不适合于如商店店面之类的户外显示，此外该方法当用在大屏幕上时还很昂贵。

另一种方法向屏幕的一侧提供光发射器，如LED或类似设备，并且向屏幕的相对侧提供光敏元件。通过特定LED发出的光的阻挡来检测手交互。然而，该方法的缺点是需要在商店店面的玻璃外提供至少一个LED或光敏阵列，使它们面临恶意破坏。

类似地，可以在屏幕的前面安装激光扫描和多普勒雷达来确定用户交互，这具有同样的缺点。作为实例，可以参考“Sensor Syatems forInteractive Surfaces”(交互表面的传感器系统，J.Paradiso、K.Hsiao、J.Strickon、J.Lifton以及A.Adler，IBM系统期刊，卷39，3 & 4号，2000年10月，892-914页)，以及“The Magic Carpet：Physical Sensingfor Immersive Environments”(魔毯：沉浸式环境的物理传感，J.Paradiso、C.Abler、KY.Hsiao、M.Reynolds，关于计算系统中的人为因素的CHI’97会议会刊，扩展摘要，ACM出版社，纽约，277-278页(1997))。

另一种与玻璃橱窗一起使用的技术使用麦克风和声音三角测量来确定用户何时敲击玻璃。在“Passive Acoustic Sensing for Tracking KnocksAtop Large Interactive Displays”(在大型交互显示器上跟踪敲击的无源声学传感，Joseph A.Paradiso、Chen King Leo、Nisha Checka、KaijenHsiao，2002 IEEE国际传感器会议的2002会议记录，卷1，奥兰多，佛罗里达，6月11-14，2002年，521-527页)中描述了该方法。该方法的潜在缺点包括需要将传感器直接接触橱窗并用电线连接它们；以及需要诸如玻璃之类的硬表面。更具体地说，该方法不适于与软塑料后部投影的屏幕一起使用。

可以使用摄像机来借助半透明图像检测用户交互。如果将摄像机放置在与用户相同的一侧，则可以使用传统的计算机视觉姿势识别技术来检测交互。然而，在此情况下，可能的恶意破坏问题以及在适当位置安装摄像机很困难是一个明显的缺点。

优选地将摄像机放置在半透明表面的后侧，使得可以易于保护摄像机不受恶意破坏。然而，在此类情况下，摄像机捕获的用户图像可能非常模糊，从而不允许使用传统的姿势识别技术。在以上所述的Rekimoto等人的方法中，摄像机以及投影仪需要与IR过滤器配合，并且还需要红外光。该方法的显著缺点是它不能用于半透明屏幕暴露在大量外界红外光的情形下，如当商店橱窗暴露于直接的日光时。

还可以参考Claudio S.Pinhanez的共同受让的US 6,431,711 B1，“Multiple-Surface Display Projector with Interactive InputCapability(具有交互输入能力的多表面显示投影仪)”。

发明内容

根据这些教导的当前优选实施例，克服了前述以及其他问题，并实现了其他优点。

本发明的实施例提供了一种信息输入装置、方法以及计算机程序和程序载体。所述装置包括：半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像，所述第一侧与在该处发生用户交互的第二侧相对；以及图像处理器，所述图像处理器连接到所述图像捕获设备的输出，以便通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。

根据本发明的实施例的检测用户输入的方法包括提供具有半透明屏幕的系统，所述系统具有放置为使所述屏幕的第一侧成像的图像捕获设备，所述第一侧与在该处发生用户交互的第二侧相对。所述方法通过检测从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。

此外，根据本发明的实施例，提供了一种有形地包含机器可读指令的程序的信号承载介质，所述指令可由数字处理装置执行以完成检测用户输入的操作。所述操作包括响应于提供具有半透明屏幕的系统，所述系统具有放置为使所述屏幕的第一侧成像的图像捕获设备，所述第一侧与在该处发生用户交互的第二侧相对：通过检测从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。

此外，根据本发明的实施例，提供了一种触摸屏系统，所述系统包括：半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像，所述第一侧与在其上用户触摸所述屏幕的第二侧相对；至少一个光源，所述光源布置为照亮所述屏幕的所述第一侧并提供所述第一侧与所述第二侧之间的照明差异；以及图像处理器，所述图像处理器连接到所述图像捕获设备的输出，以便通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。当所述屏幕的所述第二侧上的入射光比所述屏幕的所述第一侧上的入射光亮时，与所述屏幕接触的点的图像被轮廓化并显得比周围区域暗，而当所述屏幕的所述第一侧上的入射光比所述屏幕的所述第二侧上的入射光亮时，与所述屏幕接触的点的图像被加亮并显得比周围区域亮。

附图说明

当结合附图阅读时，在以下对优选实施例的详细描述中，这些教导的前述和其他方面将变得更加显而易见，这些附图是：

图1是基于触摸的输入装置的简化系统级方块图；

图2示出了在不同的前/后外界光条件下的图像求差处理的结果；

图3是触摸事件检测图像处理过程的一个周期的逻辑流程图。

具体实施方式

图1示出了用户输入系统10的当前优选实施例在两种输入情形下的基本结构。输入系统10包括半透明屏幕12，以及放置在屏幕12的第一侧12A(此处为方便起见也称为“后”侧)上的图像捕获设备(如视频摄像机14)。假定用户位于相对于屏幕12的第二侧12B(此处为方便起见也称为屏幕12的“前”侧)。为了分别照亮屏幕12的后侧12A和屏幕的前侧12B，安排了至少一个后光源16和可能至少一个前光源18。假定存在数据处理器20，数据处理器20具有安排为接收摄像机14的图像数据输出的存储器22。数据处理器20可以是独立的PC，或是嵌入摄像机14的处理器，并且它可以与摄像机位于一处或远离其放置。摄像机14与数据处理器20之间的链路21可以是局部配线，或者它可以包括有线和/或无线连接，并且链路21的至少一部分可以通过数据通信网络(如因特网)传送。存储器22可以存储从摄像机14接收的原始图像数据，以及已处理的图像数据，并且还可以存储计算机程序，所述程序可用于指示数据处理器20执行包含图3中示出并在以下描述的逻辑流程图的过程。存储器22可以采取任何适合的形式，并且可以包括固定的和/或可移动的存储器设备与介质，包括基于半导体和基于旋转盘的存储器介质。

数据处理器20可以数字化并存储摄像机14捕获的每个帧(如果摄像机14的输出不是数字输出)。如以下将详细描述的，数据处理器20还通过在图3示出的处理之后比较两个连续帧来处理影像。尽管屏幕12的一侧或两侧的光照环境可能存在改变，但是由用户接触屏幕12引起的改变通常很强并且显示出明确限定的边界。通过使用如阈值处理之类的计算机视觉技术，使得检测由用户触摸屏幕(直接地或通过使用指针或触笔或某些其他物体)引起的特性改变成为可能。

屏幕12可以形成例如墙、地板、窗户或家具表面，或者可以是它们的一部分。屏幕12可以是平的、弯曲的和/或由彼此邻近或彼此分离的多个表面组成。屏幕12可以包括例如玻璃或聚合物。可以将用户输入的检测与放置在屏幕12的前、后或非常接近屏幕12的物体关联。

出于说明本发明的当前优选实施例的目的，半透明表面(如屏幕12的至少一个表面)会传播光，但是将造成光线的充分散射，以防止观察者感知通过表面看到的物体的清晰图像，同时仍使观察者能够区分通过表面看到的物体的颜色和轮廓。此处假定屏幕12是“半透明屏幕”，只要它有至少一个主表面是半透明的。

根据本发明的实施例，以及在输入场景或情形A中，假定用户的手没有触摸屏幕12，具体地说，没有触摸前侧12B。在情形A中，到达摄像机14的虚线Al对应于来自摄像机14看到的用户手指的图像的光的主要方向(A点)。到达半透明屏幕12上的起点的虚线对应于来自前光源(多个)18的光。在情形A中，在A点处，屏幕的后侧12A上的光是来自前光源(多个)18的光的总和，由于在此情形中的半透明效应，所述光在屏幕12的后侧12A上向多个方向均匀地散射。而来自后光源(多个)16的光被屏幕12反射。因此，在情形A中，摄像机14获取的与用户手指的位置(A点)对应的图像包括来自前光源(多个)18(在此情形中被散射)，以及后光源(多个)16(被反射)的作用。

在第二输入场景或情形B中，假定用户的手(例如，用户的食指尖)触摸了屏幕12的前表面12B。在情形B中，从用户的手指触摸点(B点)到摄像机14的线对应于从B点到摄像机光圈的光的主要方向。由于用户的手指接触了半透明屏幕12，所以前光源(多个)18产生的光被手指尖遮挡并且没有到达屏幕12的前侧表面12B。因此，在情形B中，在B点处，屏幕12的后侧12A上的光线仅来自后光源(多个)16，并且与从后表面12A反射的光和由用户手指尖皮肤反射的光的总和对应。因此，在情形B中，摄像机14获取的对应于用户手指的位置(B点)的图像仅由于来自后光源(多个)16的光的反射造成。可以注意到，B点周围没有被用户手指覆盖的区域中的点具有和A点类似的特性(即，到达摄像机14的光是源自前光源(多个)18和后光源(多个)16的光)。

通过从摄像机14坐标系到屏幕12坐标系的转换，可以容易地确定A点和/或B点在屏幕12上的精确位置。

因此可以理解，本发明的一个方面是一种有形地包含机器可读指令的程序的信号承载介质，所述指令可由数字处理装置执行以完成检测用户输入的操作。所述操作包括响应于提供具有半透明屏幕的系统，所述系统具有放置为使所述屏幕的第一侧成像的图像捕获设备，所述第一侧与在该处发生用户交互的第二侧相对：通过检测从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。

图2分别示出了当用户触摸屏幕12时根据前和后投影光源(多个)18和16之间的差异由摄像机14获取的影像实例。如顶行的图像(用2A表示)所示，对应于其中前光源(多个)18比后光源(多个)16亮的情形，触摸屏幕12在接触点上产生了暗区域。由于前光源(多个)18比后光源(多个)16亮，从前光源(多个)18的影响，所述触摸情形使用户手指的皮肤在接触点变得模糊。在此情形中，用户的手指只反射来自不如前光源(多个)18亮的后光源(多个)16的光，从而产生指尖的轮廓化效果。第二较低行的图像(用2B表示)示出了相反效果，其中后光源(多个)16比前光源(多个)18亮。在该情形中，当手指触摸屏幕12时，它主要反射来自后光源(多个)16的光，并且由于后光源(多个)16比前光源(多个)18亮，对于摄像机14，手指的图像显得更亮。图2的最后(最右侧)列示出了同一行中两个前述图像之间的绝对差异。如可以容易地看到的，每行中前述两个图像之间的最大绝对差异恰好出现在前侧表面12B上被用户触摸的点。

图3示出了描述检测其中用户或多个用户顺序地或同时地触摸屏幕12的那些情形的方法的一个周期的逻辑流程图。假定所述逻辑流程图是由图1的数据处理器20执行的程序代码的表示。所述过程以捕获由摄像机14产生的视频流的一个数字化帧(110)开始(010)。如果摄像机的视频输出是模拟形式，则优选地在此时数字化所述模拟视频信号。在下一个步骤中，从在之前周期中捕获的帧(100)逐像素地减去所述捕获的帧(120)以生成差异图像。为了简化以下计算，本发明的非限制性实施例使用每个像素上的差的绝对值。扫描所述差异图像并且检测具有高值的像素，将它们一起聚集(130)到存储在计算机存储器22内的数据结构中。如果没有找到此类聚集(140)，所述过程跳到终止，将在下一周期中要使用的当前帧保存(160)为先前帧(100)并结束周期(300)。如果找到至少一个具有高差异值的聚集(140)，所述过程分别检查每个检测到的聚集(150)。对于每个聚集，考虑到当前聚集数据和先前聚集数据(210)之一或二者，所述过程判定生成触摸事件是否适当(200)。该评估可以包括，但当然不限于，确定具有高差异值像素的聚集的大小和确定具有高差异值像素的聚集的形状中的一个或多个。如果发现所述聚集适于生成事件，则所述过程生成检测到触摸事件(220)并将其分配到客户应用或系统。在生成触摸事件(220)后，或者如果认为聚集不适于生成触摸事件(来自(200)的“否”路径)，则所述过程保存(230)聚集数据以供未来周期中使用(210)。在检查了所有聚集后(150)，所述过程保存在下一周期中要使用的当前帧(160)并结束当前周期(300)。

本发明的非限制方面假定通过屏幕12的来自前光源(多个)18的光照量与皮肤反射的来自后光源(多个)16的光照量不同。否则，计算机视觉系统不能检测所述改变。然而，两种光照水平相同的情形极少出现，并且可以通过增加前或后光照量来弥补。具体地说，已发现使前光源18比后光源16亮是优选的。

如在图2的讨论中指出的，如果前侧生成的通过屏幕12的后侧表面12A的光线量多于从后侧表面反射的后侧光，用户与前侧表面12B的接触点被轮廓化，产生暗点(行2A)。通过对图像流(例如，以每秒30帧的速率生成的多个帧)的连续帧求差，数据处理器20能够检测用户触摸屏幕12的时间，以及接触的持续时间。注意到在接触瞬间，由于光线差，图像中存在明显不连续的改变。在相反情形中，即，当用户手指的皮肤反射的后侧光比来自前光源(多个)18的通过表面12A的光亮时(行2B)，可以再次观察到在接触瞬间图像中的明显变化。

在图3中描述的过程中，可以使用相对简单的计算机视觉方法，如称为图像求差的方法。使用图像求差的一个非限制性优点是所述过程容许用户相对于屏幕12的前侧表面12B的运动，以及容许环境光照的逐渐改变。然而，在另一个实施例中，其中除了当用户触摸屏幕时，屏幕12的后侧图像很少改变，可以使用基于背景相减的方法。在该情形中，在其中已知没有用户交互的情形中(例如，在校准阶段)获取表面的图像。然后将此参考图像与由摄像机14数字化的每个帧相比较。当用户触摸表面12B时，在接触点出现强烈的光照改变(如以上描述的)。在此情况下，可以追踪用户与屏幕12接触的手的运动，以及检测用户触摸了屏幕12多长时间。类似的方法可以使用统计技术来缓慢地更新参考图像以适合环境和光照条件的改变。

本发明的其他实施例将屏幕12的半透明表面与投影系统(如幻灯片投影仪、视频投影仪或照明器材)相结合，将所述表面转换为交互式图形显示。在此类实施例中，前述操作仍然有效，因为如果前光源18明显地比被投影的图像亮，则摄像机14获取的后侧表面12A的图像本质上不受投影仪的影响。因此，用户的手的接触点仍然生成数据处理器20视觉系统可检测的强烈轮廓。然而，如果后侧投影的图像明显地比通过表面12A的前方光线亮，则可能存在投影图像的改变被错误地识别为用户接触表面12B的情况。但是，该潜在问题存在解决方案：a)可以使交互区域没有投影的图像，并且指示计算机视觉系统只在这些区域寻找交互；b)可以通过计算机视觉和模式识别方法(包括统计和基于学习的方法)分析差异模式的形状，并且只接受与特定种类的用户交互(如用手指触摸)相似的那些形状。在以上根据图2和3描述的一般情形下，还可以使用此后一种解决方案来改善检测性能。

在另一个实施例中，多个用户可以同时使用系统10，或者使用双手交互。只要合理地分离接触点，图3中描述的过程就可以检测多个与屏幕12的前侧表面12B接触的区域。

在本发明的另一个实施例中，数据处理器20具备至少一个光传感器(LS)24以监视在屏幕12的前侧12B和/或后侧12A处的光源水平，以便确定两侧之间的光照差异量。通过允许数据处理器20控制后和前光源(多个)16和18之一或二者的强度以便可以控制亮度差，还可以增强该实施例。在图1中用从数据处理器20到后光源(多个)16的线26指示此光源控制。

通常，LS24可用于确定环境光水平的差异以确保系统10可使用，和/或作为到图像处理算法的输入(如比例因子或某些其他参数)。优选地，LS 24连接到数据处理器20或某些其他联网设备，使得图像处理算法(多个)可以获取环境光水平(多个)以自动确定是否有足够的环境光差异以使系统10以某些期望性能水平操作。优选地，可以存在增加或减少来自半透明屏幕12的前和/或后侧的光线水平的能力。在该情形下，可以为数据处理器20提供亮度控制26。优选地，可以以这样的方式一起使用LS 24和亮度控制26：使得数据处理器20能够改变屏幕12的前或后侧或二侧的亮度水平。

在另一个实施例中，可以使用带有多个屏幕12和单个摄像机14或投影仪/摄像机系统的系统，假定所述系统能够指示摄像机14和/或投影仪注意每个屏幕12。在该情形中，可以使用单个光源或多个光源顺序地或同时地照亮多个屏幕12。

基于前述描述，应当理解，在本发明的一个方面中提供了用于具有半透明表面的屏幕12的输入装置和方法，所述装置和方法使用摄像机14和数据处理器20处理来自摄像机14的图像流。将摄像机14放置在屏幕12的与系统10的一个或多个用户相对的一侧。因为表面是半透明的，所以用户和他们的手的图像可能严重模糊。然而，当用户触摸表面12B时，根据来自表面的每侧的入射光之间的差异，表面上接触点的图像变得比表面的其余部分明显地亮或明显地暗。如果用户侧上的入射光比摄像机侧上的亮，接触点被轮廓化并且因此明显地暗。如果用户侧上的入射光比摄像机侧上的暗，则用户与表面接触的皮肤反射来自摄像机侧的光，因此接触点明显地比背景亮。为了检测用户何时触摸表面，可以采用图像求差技术。在该非限制性情形中，将连续帧彼此相减，使得当用户触摸表面时，阈值处理机制或运动检测算法可以容易地检测到在接触点处亮度的明显差异。所述装置和方法容许在屏幕12的不同区域进行多个和同时的交互，只要它们相互合理地分离。

注意，在本发明的至少一个实施例中，可以只提供后光源(多个)16，并且前光源(多个)18可以仅由环境光照(例如，白天的日光和晚上的街灯)来提供。在该情形中，可能期望提供对后光源(多个)亮度的自动控制26以容许在屏幕12的后侧12B处的光照水平的变化。

还注意到在本发明的至少一个实施例中，可以使用系统10检测到的用户输入来控制投影在半透明屏幕12上的影像。

还注意到在本发明的至少一个实施例中，数据处理器20可以使用系统10检测到的用户输入来识别特定的身体部位，如手指、手或假肢。

根据本发明的实施例的装置和方法与传统技术相比具有多种优点。例如，根据本发明的实施例使用放置在屏幕12与用户相对一侧的摄像机14捕获的图像。因此，本发明可用于其中想要保护系统硬件(如摄像机14)不受环境影响的商店店面和类似情形中。与基于声音、激光、多普勒雷达和LED阵列的传统方法和系统不同，根据本发明的实施例的装置和方法还允许来自一个或多个用户的多个和同时的输入。

此外，根据本发明的实施例的装置和方法不需要IR过滤器或特殊光照。因此，可以实现不那么复杂和昂贵的用户输入系统，并且所述系统可用于其中屏幕12暴露在大量红外光的那些情形中，如当商店店面暴露在直接的日光中时。