首页> 中国专利> 彩色触视觉系统、触觉显示写入器、触觉显示写入单元及方法

彩色触视觉系统、触觉显示写入器、触觉显示写入单元及方法

摘要

本发明公开了一种彩色触视觉系统、触觉显示写入器、触觉显示写入单元及方法。该触觉显示写入单元包括具有接触尖端的探针及至少一第一及一第二致动器。第一及第二致动器耦接探针,以此这些致动器的启动导致探针尖端于一个或多个第一方向上位移及第一横向上的位移,此横向具有在x-y平面中不同于第一方向的第一向量。写入单元可具有第三致动器,其耦接探针。

著录项

  • 公开/公告号CN102335064A

    专利类型发明专利

  • 公开/公告日2012-02-01

    原文格式PDF

  • 申请/专利权人 旺宏电子股份有限公司;

    申请/专利号CN201010239583.5

  • 发明设计人 陈逸舟;陈士弘;林昱佑;庄东桦;

    申请日2010-07-27

  • 分类号A61F9/08;

  • 代理机构中科专利商标代理有限责任公司;

  • 代理人周国城

  • 地址 中国台湾新竹科学工业园区力行路16号

  • 入库时间 2023-12-18 04:17:16

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2013-08-14

    授权

    授权

  • 2012-03-28

    实质审查的生效 IPC(主分类):A61F9/08 申请日:20100727

    实质审查的生效

  • 2012-02-01

    公开

    公开

说明书

技术领域

本发明是有关于一种视觉取代系统,且特别是有关于一种彩色触视觉 系统、触觉显示写入器、触觉显示写入单元及方法。

背景技术

多种不同方法被提出用以恢复失去的视觉或加强现有的视觉,上述方 法包括视觉假体及视觉取代。

视觉假体通常由植入式神经刺激器所组成,并且植入式神经刺激器会 耦接外配带式摄影机。视觉假体可以提供原本具有视力但由于视力退化疾 病所造成失明的人恢复些许视力,并且成功的透过视觉假体依据盲人失去 视力的方式恢复盲人的视觉。并且依据盲人失去视力的方式成功的透过视 觉假体恢复盲人的视觉。视网膜上的假体曾被提倡,并且透过一些组织开 发视网膜上的假体。此方式可成功运用于视觉感官退化所造成的失明,并 且视神经可完全发展于发病失明之前,其中引起视觉感官退化的疾病例如 视网膜色素变性及老年性黄斑部变性。假体系统使用的视网膜下的植入式 微芯片为发展于美国史丹佛大学中Daniel V.Palanker的研究机构,并且其 研究描述于D.Palanker等人于2005年发表于J.Neural Eng.,Vol.2,pp. S105-S120名为“Design of a high-resolution optoelectronic retinal prosthesis” 的论文、D.V.Palanker等人发表的第7,047,080号的美国专利(专利名称为 “Self-sufficient retinal prosthesis powered by intraocular photovoltaic cells”)及 第7,447,547号的美国专利(专利名称为“Neural prosthesis based on photomechanical deflectors and tactile sensory cells”)。Robert Greenberg及其 在Second Sight Medical Products公司的同事们提出一种植入式视网膜微芯 片阵列,其描述于Robert Greenberg等人所发表第7,263,403号及第 7,499,754号的美国专利(专利名称为“Retinal prosthesis”)。Alan Y.Chow与 其在Optobionics公司的同事提出了一种视网膜下的植入式微光电二极管 阵列,用以治疗视网膜色素变性,其描述于Alan Y.Chow等人于2004发 表于Arch.Ophthalmol.,Vol.122,pp.460 469名称为“The Artificial Silicon Retina Microchip for the Treatment of Vision Loss From Retinitis Pigmentosa” 的论文。

视网膜假体需要从外部植入,其不但具有植入技术的风险,且具有在 贴近神经组织的地方运作电子装置的风险。如上所述,视觉假体适于原本 具有视力且因退化性疾病而失明的个案。因为假体放置于眼睛内部,其主 要用以治疗视觉损伤,并且无法理想地对有视力的人增强其视觉。

由于某些缘故,视觉取代方法可以更加完善。一般而言,若人体中由 视网膜传送感觉信息至大脑的能力受损的话,则会造成失明。在视觉取代 系统中,会透过联结未受损的视觉处理路径以从另一种感知模式(例如触 觉)获取数据,以此恢复视觉感受。透过视觉取代,信息由触觉感官转送 至视觉中枢,其信息会被理解并视为影像。在视觉取代系统中,影像获取 装置(如数字摄影机)会产生信号以表示所接收到的影像,此影像被处理 并转送至一刺激器阵列,此刺激器为配置以刺激受试者某一区域的触觉感 官。以下则提出一些视觉取代系统以举例。

Paul Bach-y-Rita提出一种为电触觉显示器的视觉取代系统,电触觉显 示器包括电极阵列,并且电触觉显示器为配置于受试者的舌头。上述可见 于Paul Bach-y-Rita等人于1998发表于Jour.Rehabilitation Research and Development名为“Form Perception with a 49-point electrotactile stimulus array on the tongue:A technical note”的文章,以及Paul Bach-y-Rita等人所 发表之第6,430,450号的美国专利(专利名称为“Tongue-based tactile output device”)。K.Kasmarek及其于美国威斯康辛大学的同事持续进行电触觉刺 激器的开发工作。一个标准的电触觉舌头显示系统包括舌头显示单元、控 制器及摄影机,并且Wicab公司持续努力开发一种装置适于商业使用。此 系统可提供灰阶信息,但无法提供色彩信息。当舌头以其它方式使用时, 此装置无法使用于舌头,例如当人们吃东西或说话。

用以表示视觉、听觉及修改触觉信息至皮肤的方法为探讨于Kurt A. Kaczmarek等人于1991年一月发表于IEEE Trans.Biomed.Eng.,Vol.38,No. 1.名为“Electrotactile and Vibrotactile Displays for Sensory Substitution Systems”的文章中。触觉刺激物可以为机械触觉、电触觉或热触觉。

协助盲人及视力受损的俄罗斯共和国基金会,其发展一种具有触觉显 示器的触视觉系统,其附挂于受试者背上。此显示器包括一电极阵列。摄 影机接收影像并传送代表影像的信号至计算机,则计算机对信号进行处理 对并传送电子脉波至此阵列中的电极。

德国海德堡的Ruprecht-Karls大学中的Kirchhoff-Institut fur Physik (Kirchhoff物理研究所)提出一种触视觉取式系统,其利用一种虚拟触觉 显示器(virtual tactile display,VTD),并且虚拟触觉显示器接收数据自具 有影像处理能力的摄影系统装置。上述可见于Thorsten Maucher等人于 2000七月发表于Karlsruhe的ICCHP2000名为“The Heidelberg Tactile Vision Substitution System”的论文。虚拟触觉显示器包括一移动式触觉输出 单元,每一移动式触觉输出单元具有移动式压电致动器,且移动式压电致 动器配置于标准盲文矩阵中。触觉输出单元扫描大片输入区域。此系统包 括互补金属氧化物半导体(Complementary metal-oxide-semiconductor, CMOS)摄影机及专用的超大规模集成电路晶体以获取影像及进行前置处 理。Kirchhoff物理研究所另外提出一种气动触觉显示器,其触觉刺激物为 透过压缩空气驱动活塞阵列施加于皮肤。上述参考自Kirchhoff物理研究 所的网站,其网址为http://www.kip.uni-heidelberg.de/。

发明内容

根据本发明一实施例,触觉显示写入单元包括探针及一第一致动器及 至少一第二致动器,其中此探针具有接触尖端,此第一致动器及此第二致 动器耦接此探针,以此第一致动器及第二致动的启动导致此探针尖端在z 方向上的位移以及在第一横向的上位移,此第一横向具有在x-y平面上的 第一向量。

在某些实施例中,触觉显示写入单元包括第三致动器,其耦接此探针。

在某些实施例中,第一致动器的启动导致此探针尖端在z方向上的位 移,第二致动器的启动导致在第一横向的上位移。并且,在具有第三致动 器的实施例中,第三致动器的启动导致此探针尖端在第二横向上的位移, 此第二横向具有在x-y平面上的第二向量。

根据本发明一实施例,触觉显示写入单元包括基座、探针、至少一第 一及一第二致动器,其中基座具有顶点,探针位于顶点上且具有接触尖端, 第一致动器及第二致动器耦接于基座的第一部位及第二部位,以此第一致 动器的启动导致第一部位在第一方向上的位移,其中此第一方向具有在z 方向上的第一向量,并且以此第二致动器的启动导致第二部位在第二方向 上的位移,其中此第二方向具有在z方向上的第二向量。

在某些实施例中,触觉显示写入单元包括第三致动器,其耦接基座的 第三部位,以此第三致动器的启动导致第三部位在第三方向上的位移,其 中此第三方向具有在z方向上的第三向量。

在某些实施例中,第一部位、第二部位及第三部位坐落于基座上相对 于顶点的一侧。

在某些实施例中,第一部位及第二部位位移的差距、或者第一部位与 第二部位及第三部位其中之一位移的差距导致基座的倾斜及探针在一横 向上的位移,其中此横向具有x-y平面上的第一向量。

根据本发明一实施例,触觉显示写入器包括多个上述触觉显示写入单 元,这些触觉显示写入单元被支撑于x-y阵列中。

根据本发明一实施例,触视觉系统包括上述触觉显示写入器、影像处 理器及影像传感器。此影像处理器将来自影像传感器的RGB影像信息转 换为具有两个或两个以上属性的色相信息。并且,触觉显示写入器中的致 动器为透过信息的属性而启动。

根据本发明一实施例,在受试者的皮肤的部位产生色彩触觉刺激的方 法包括:将探针对准此部位,其中此探针具有一接触尖端;在此部位沿着 皮肤的表面的法线方向移动此接触尖端一第一距离,此第一距离与色彩的 色相模型的一个属性有关。并且,在此部位,沿着平行皮肤表面的平面中 的至少一横向移动此接触尖端一第二距离,此第二距离与色彩的至少一额 外属性有关。

在本发明的不同实施例中可提供一彩色触觉显示器以辅助盲者或视 力受损者,以及增强可视者的视力。本发明不需开刀及其它侵入性步骤来 实现。

为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配 合所附图式作详细说明如下。

附图说明

图1A为红绿蓝(RGB)色彩模型的色彩分布表示图。

图1B及图1C为色调色彩模型的分布示意图。

图2绘示为依据本发明一实施例的触觉显示装置的透视示意图。

图3A及图3B绘示为依据本发明一实施例的触觉显示装置与皮肤上 一固定部位的色调色彩对应关系示意图。

图4绘示为依据本发明一实施例的触觉显示装置的执行过程流程图。

图5绘示为依据本发明一实施例的色彩视觉阵列的透视图。

图6绘示为依据本发明另一实施例的色彩视觉阵列的透视图。

图7A绘示为依据本发明一实施例的触视觉系统的基本元件的广义概 念示意图。

图7B绘示为依据本发明一实施例的触视觉系统的基本元件配置于受 试者的示意图。

图8A绘示为依据本发明一实施例触觉显示装置于对比(灰阶值)写 入模式的透视图。

图8B绘示为依据本发明一实施例的触觉显示装置于色彩写入模式的 透视图。

图9A及图9B绘示为依据本发明实施例的触觉显示装置的致动器于 装置探针为不同配置方式的透视图。

图10绘示为依据本发明一实施例的装置探针及致动器的爆炸透视图。

图11A、图11B及图11C绘示为图10的具有探针及致动器的触觉显 示装置的示意图,其中图11B为正视图,图11A为第一(顶部)平面图, 图11C为第二(底部)平面图。

图12A绘示为配置如图11A、图11B及图11C的触觉显示装置的阵 列设置于受试者的皮肤表面的透视图。

图12B绘示为如图12A的触觉显示装置阵列对着受试者的皮肤以不 同方式移动以表示不同色彩值的透视图。

图13绘示为依据本发明另一实施例的色彩视阵列的透视图。

图14A绘示为依据本发明一实施例的触视觉系统的基本元件的广义 概念示意图。

图14B绘示为依据本发明一实施例的触视觉系统的基本元件配置于 受试者的示意图。

图15绘示为依据本发明一实施例的触觉显示装置的执行过程流程图。

【主要元件符号说明】

C、C′:列

R:红色

R′、R″:行

G:绿色

B:蓝色

H:色相

L:亮度

S:饱和度

V:亮度值

11:皮肤

20、52、62、64、1201、1201′、1202、1202′、1203、1203′、1204、 1204′、1302:写入单元

21、1185、1291、1292、1293、1294、1291′、1292′、1293′、1392: 接触尖端

22、82、92、1184:探针

24、26、28、84、86、88、94、96、98、1084、1084′及1084″、1261、 1261′、1261″、1262、1262′、1262″、1263、1263′、1263″、1264、1264′、 1264″、1361、1361′、1361″:致动器

25、27、29、73、75、85、87、89、95、97、99:耦接关系

31:部位

32:接触点

33、33′:部份色彩环

34:亮度范围

36:角度

38、d:距离

50、60、1300:阵列

56、66:支撑器

63、65:区域

72、1402:影像传感器

74、1404:影像处理器

76、80、81、90、91、1406:影像写入器

1080:触觉显示装置/写入单元/支架组

1082、1082′、1082″:末端

1085、1085′、1085″:轴件

1182、1213、1214、1312:基座

1183、1183′及1183″:角落

1200:虚线

具体实施方式

本发明将依据图示作进一步详细说明,并且图示所绘示本发明的实施 例为二择一形式。所绘示的图标为表示本发明的特征及其相关于其它特征 及结构,并且本发明不限于图示的大小。为了使图标更加清楚,图标所绘 示的本发明实施例中,元件与其它元件的对应关系为绘示于其它图标中, 并且图标非全部重新标号,以使本发明的图标中的元件容易辨别。此外, 本领域技术人员可透过其知识而理解的部份技术特征则不绘示于图标中, 以使图标更加清楚。

色彩一般由三个分量所定义,并且在不同的色彩模型中,透过投影上 述三个分量的值来描述三维体积,其如同欧几里得(Euclidean)空间中的 笛卡尔(Cartesian)分量一般。以红绿蓝(red-green-blue,RGB)色彩模型 为例,其色彩分布如图1A所示,RGB色彩模型是以利用0~1范围间的非 负数数值的立方体来表现,并且将在顶点(0,0,0)的黑色指定为原点,并且 沿着三轴(R、G、B)增加强度的数值,而到达位于顶点(1,1,1)的白色,其 中白色为黑色的对角线对向位置。而RGB三分量(r,g,b)代表在该立方体 内、其表面、或沿其边的给定色彩点的三维坐标。

在某些色彩使用中,色相色彩模型可以更有效地仿真色彩实际被接收 的方式。图1B及图1C表示色相色彩模型。图1B绘示色相-饱和度-亮度 (hue-saturation-lightness,HSL)的色彩空间,为所绘示的双圆椎体。z轴 代表亮度,并且沿着z轴可从黑色(底部)到达白色(顶部)。x-y平面上 至z轴的距离代表饱和度。x-y平面环绕z轴的角度代表色相,其中红色 为0度角。具有一给定亮度值的色彩是位于与z轴垂直的色彩环内,而全 饱和度色彩是位于色彩环的边缘。图1C绘示为色相-饱和度-亮度值 (hue-saturation-value,HSV)的色彩空间,为所绘示的倒椎体,其中黑色 点位于底部,并且全饱和度色彩环绕位于顶部的圆。z轴代表亮度值,并 且沿着z轴可从黑色(底部)到达白色(顶部圆的中央)。x-y平面上至z 轴的距离代表饱和度。以及,x-y平面环绕z轴的角度代表色相,其中红 色为0度角。

如摄影机之类的影像撷取装置一般使用RGB色彩模型。RGB信号可 利用直接转换(straightforward transformation)方式转换为色相模型。以下 则提出已知方法,来举例说明将RGB空间的红绿蓝(RGB)坐标(其可由数 字影像阵列所提供)转换为色相空间的色相-饱和度-亮度(HSL)向量,或色 相-饱和度-亮度值(HSV)向量。上述方法可参照网址 http://en.wikipedia.org/wiki/HSL_and_HSV所述的文章。

使r,g,b∈[0,1]在RGB空间中分别为红色、绿色与蓝色坐标。

使max为r、g、b的最大值,而min为r、g、b的最小值。

为了找出HSL或HSV空间的色相角度h∈[0,360],其计算方式如下:

h的数值一般被正规化于0度到360度之间,并且当max等于min(亦 即,灰阶)时,h为0,虽然色相在此不具有几何意义,在此饱和度s为0。 同样地,当亮度l等于0或1时,s值选择为0是任意的。

在HSV及HSL系统中,色相的定义是相同的,但其它分量则不同。

寻找HSL空间的饱和度s及亮度l,其中s,l∈[0,1],其计算方式如下:

l=12(max+min)

s=0,ifmax=minmax-minmax+min=max-min2l,ifl12max-min2-(max+min)=max-min2-2l,ifl>12

HSV空间的饱和度s数值以及亮度值v的定义如下,其中s,v∈[0,1]。

s=0,ifmax=0max-min2(max+min)=max-min2-2l,otherwise

v=max

在笛卡尔坐标系统中,HSV向量及HSL向量的范围为一立方体,但 是由于色相实际上为循环特性,所以不必或不适合在切点0(红)处展开转 换为一线性坐标。据此,上述空间的可视化通常涉及色相环。圆柱及圆椎 (HSL空间为双椎体)描绘为最常使用,并且球状或其它色彩体也是可用 的描绘。

图2绘示为依据本发明一实施例的触觉显示装置(“写入单元”)20, 其排列于受试者皮肤11的一区域上。x-y-z坐标显示做为参考之用,并且 皮肤一般放置于x-y平面上。写入单元具有可移动式探针22,探针22具 有接触尖端21。第一致动器24(致动器A)以下述方式耦接(25)探针22, 即在一启动时,第一致动器24使探针22的尖端21在一方向上移动,此 方向具有在z方向靠近或远离皮肤上的接触点32的一向量。此装置本身 可具有z轴,而第一致动器使探针的尖端沿着z轴移动。第二致动器26 (致动器B)以下述方式耦接(27)探针22,即在一启动时,第二致动器26 致使探针22的尖端21在一横向上移动,此横向具有在x-y平面上的第一 向量。第三致动器28(致动器C)以下述方式耦接(29)探针22,即在一启 动时,第三致动器28致使探针22的尖端21在另一横向上移动,此另一 横向具有在x-y平面上的第二向量。

图3A及图3B为绘示如图2所示的写入单元例子的触觉显示装置是 如何能够在皮肤上的接触部位形成色彩信息化的触觉刺激。x-y-z坐标绘 示做为参考之用,并且皮肤一般放置于x-y平面上。经由图3A的实施例 可知,其绘示关于皮肤上的部位31的HSL空间的几何结构。如图所示, 两色彩环中的部份33及33′分别位于不同亮度水平。亮度范围34表现于z 轴。色相表现于x-y平面上绕z轴的角度36。饱和度为透过垂直于z轴的 x-y平面上的距离38来表现。此z轴为朝向皮肤11的部位31。图3B绘 示为依据本发明一实施例的HSL空间与触觉显示装置以及与皮肤上接触 部位的关系。如写入单元和色彩空间的几何的重叠所显示,透过第一致动 器24启动的探针22的移动,其使探针尖端点21在z方向上的移位,可 定义亮度;透过第二致动器26启动的探针22的移动,其使探针端点21 在具有x-y平面上第一向量的方向上的移位,可定义色相;透过第三致动 器28启动的探针22的移动,其使探针端点21在具有x-y平面上第二向量 的方向上的移位,可定义饱和度。

上述装置可以如下述方式使用。请参照图4,此装置放置于起始位置, 其中探针尖端邻接受试者皮肤表面的接触部位,并且装置的z轴一般是定 向为在上述部位的皮肤表面平面的法线。当装置位于起始位置时,此尖端 可接触或几乎接触皮肤部位。色彩信息上传至此装置的致动器。致动器A 响应亮度信息而启动,移动探针尖端朝向皮肤部位,并且按压进及挤压此 部位的皮肤表面。致动器B及C响应色相信息及饱和度信息而启动,以于 第一横向及第二横向上移动探针尖端。透过停止启动致动器,则此装置会 回复至起始位置。受试者会感觉到探针尖端于皮肤表面的位移作为对应上 传的信息所表示的色彩的瞬间触觉感受。在横向位移期间,此尖端可滑过 皮肤表面,并且可使用润滑剂以使促进尖端的滑行,润滑剂例如胶状物、 油脂、油膏等。或者,尖端可不滑过皮肤表面,以致于横向移动可透过受 试者皮肤的延展而使受试者感知,并且接触部位上的皮肤可以经过处理以 增加尖端与皮肤的摩擦力。

在一结构中,位移量与色彩信息成比例,使得在z方向的位移范围相 关于亮度范围,在第一x-y方向的位移范围相关于色相范围,在第二x-y 方向的位移范围相关于饱和度范围。例如,致动器A位移会让受试者感受 在皮肤部位的压力,并且致动器可以设计为针对较大的亮度或较小的亮度 提供较大的位移。并且例如,致动器C可以设计为针对较高或较低的饱和 度提供较大的位移(滑过皮肤或延展皮肤)。

在另一结构中,一些位移的其它参数可以与色彩信息成比例。例如, 尖端可以多少位移快一点,并且位移的速度范围可以与色彩信息成比例。 例如,致动器A的位移可以设计为针对较大或较小亮度提供更快速的位 移。并且例如,致动器C的位移可以设计为针对较高或较低饱和度提供更 快速的位移。

数个上述写入单元的阵列可以使用来提供色彩信息至皮肤上多个对 应部位的阵列,使受试者可以感受到彩色影像。图5绘示数个单元的简化 矩形阵列50。写入单元52固定于支撑器56上。感受到的影像的接触点分 辨率是决定于阵列中探针尖端彼此的距离,也就是说阵列中探针尖端的密 度越高,影像的分辨率越好。相邻写入单元间的距离为图5中沿着一列所 标示的标号d,并且在此简化阵列中,探针尖端于x及y方向上大体为均 匀地隔开。

探针阵列中的写入单元可以是其它配置方式。例如,众所周知,人类 视觉区域在中央的小区域具有比其它外围区域更好的分辨率,因此写入单 元可配置成在中央区域的密度高于其它外围区域。上述阵列之例为图6所 示的阵列60。写入单元62及64固定于支撑器66上。写入单元62以较高 密度排列于图6中以虚线描绘域的区域63内,并且写入单元64以较低密 度排列于外围区域65内。

某些皮肤感知的参数可能被迫设计限制于接触点的分辨率。关于触觉 显示器的皮肤感知的评论,可参阅“S.A.Brewster et al.,“Tactile Displays” in A.Helal et al.,eds.,The Engineering Handbook on Smart Technology for Aging,Disability and Independence,John Wiley and Sons,2008”。举例来说, 不同身体位置具有不同灵敏度及不同空间敏锐度,并且如指尖、前臂、大 腿、下腹部、背部等各种的皮肤位置被提出。指尖具有较低接触辨别的临 界点,在两相邻刺激点之间的距离可低至0.9厘米(mm),并且此临界点 会随着不同程度的按压或位移(皮肤为凹陷)而不同。并且,举例来说, 特定部位的灵敏度及空间敏锐度可依据在该部位上连续位移间的时间间 距及个别位移之速度而不有所改变。并且,举例来说,灵敏度及空间敏锐 度可能受到皮肤本身特质的影响,例如皮肤光滑或皮肤多毛,并且可能随 着受试者的年龄而有所改变。

为了灵敏度及空间敏锐度,可选择具有较低临界值的皮肤位置,但是 在另一方面,为了影像感知的其它目的,亦可选择其它未被使用的皮肤位 置。举例来说,在影像感受期间,允许受试者完全使用全部的手指,在此 情况下,则可适当地利用指尖以外的其它皮肤位置进行影像感知,即使其 它皮肤位置的灵敏度及空间敏锐度会较指尖低。

在机械设计方面,写入单元的大小可迫使到探针尖端密度的设计极 限,并且依据写入单元的尺寸,在阵列中两邻接的探针尖端的距离可能会 超出特定皮肤区域的触觉空间分辨率。在此,阵列中的探针尖端密度是受 限制,此阵列(及阵列下的皮肤)的区域可能会变大以容纳足够数量的探 针尖端。

请参照图7A,整体来看,用以实现触视觉阵列的系统包括三个一般 性功能,亦即彩色影像感测,利用影像传感器72;彩色影像处理,利用影 像处理器74;以及触觉色彩写入,利用影像写入器76。数据在(73)彩 色影像传感器72及彩色影像处理器74之间交换,以及在(75)彩色影像 处理器74及影像写入器76之间交换。上述数据交换可透过有线及无线方 式。

影像传感器72可以为数字影像装置,例如数字摄影机。例如,影像 传感器可以包括CMOS影像传感器。摄影机会接收入射光,并且产生代表 影像的信号。摄影机可以传送如RGB(红-绿-蓝)信号。

影像处理器74可例如为计算机(如个人计算机,PC),其被编程以接 收来自影像传感器的影像,并执行转换以将RGB(此为举例)转换为于像 素式(pixel-by-pixel)基础上的色相色彩表示方式(例如HSV或HSL)。举 例来说,上述转换可透过JAVA程序来完成。对每一个像素,影像处理器 的输出包括带有对比信息的色相色彩信息。

影像写入器76包括写入单元阵列,每一写入单元包括一探针及至少 两个(可选三个)致动器,这些致动器耦接探针且可启动以移动探针尖端。 第一致动器(致动器A)用于使探针尖端在z方向上移动。第二致动器(致 动器B)用于使探针尖端在第一横向(x-y平面)上移动。第三致动器(致动 器C),如果存在,其用于使探针尖端在第二横向(x-y平面)上移动。

与影像写入阵列可以提供的做比较,摄影机在视野内可以具有相当高 的分辨率(即画素密度)。据此,较低的像素影像亦可使用。影像处理器 可将高分辨率影像处理为具有低像素数的影像。

在一些实施方式中,触视觉阵列系统的全部功能可挂载于受试者。图 7B的例子绘示其中一种方式。在本范例中,影像写入阵列76架设于受试 者额头上皮肤的区域;摄影机72与处理器74架设于受试者的头上。本范 例中的影像写入阵列支撑器可以包括可挠性胶布,并且摄影机及处理器可 以架设于饰品发夹上。

在一些实施方式中,触觉影像写入可以经由两个阶段来完成,其如图 8A及图8B所示。在第一阶段中,请参照图8A,z轴致动器84、85首先 从处理器接收对比(灰阶)信息,并且产生探针于z方向上的位移,此位 移与灰阶上的信号准位有关。在第二阶段中,请参照图8B,z轴致动器 84、85及x-y平面致动器86、87及88、89从处理器接收色相(HSV或 HSL)信息,并且产生探针82于z方向及及x-y平面上的位移。

图10及图11A至图11C绘示依据本发明一实施例的触觉显示装置(写 入单元)1080,其中图10绘示写入单元的爆炸透视图,其排列于相关受 试者皮肤11的一区域。x-y-z坐标显示做为参考之用,并且皮肤一般放置 于x-y平面上。写入单元可具有z轴,在使用中,z轴的方向一般垂直于 皮肤的x-y平面。

在写入单元具有基座1182的实施例中,基座1182的形状例如为一四 面体且具有一顶点。探针的顶点一般直接朝向皮肤,并且探针的另一侧远 离皮肤。基座的架设可偏离z轴倾斜,并且可朝向皮肤或远离皮肤移动。 探针1184为架设在基座顶点,提供一接触尖端1185对者皮肤。在本实施 例中,写入单元具有三致动单元1084、1084′及1084″的支架组1080且耦 接基座1182。如图所示的实施例中,各致动器包括轴件1085、1085′、1085″ 与末端1082、1082′、1082″。各致动器的末端1082、1082′、1082″耦接基 座1182远离皮肤的那一侧中靠近的角落1183、1183′及1183″,以于启动 时,致动器导致基座的角落在一方向上移动,此方向具有在z方向的一向 量。若三致动器以等量启动时,则会造成基座的三角落在z方向上等量位 移,以导致接触尖端1185在z方向上对着皮肤对应的移动。若致动器以 不等量启动时,则会造成基座的三角落在z方向上不等量的位移,使基座 倾斜,并且导致接触尖端1185在朝向皮肤的一方向上及一横向上的移动, 其中此方向具有在z方向上的一向量,此横向具有在x-y平面上的一向量。 致动器末端例如可透过系链耦接基座,系链可以为一可弯曲及/或可伸缩的 链条;或者,例如以弹簧耦接,弹簧的两端分别贴附于致动器末端及基座。 或者,致动器末端例如可透过可伸缩的黏着物贴附于基座以耦接基座。

下述将作更详细说明,写入单元1080为支撑于阵列中其它相似的写 入器,虚线1200象征性的指出一个阵列的支撑状态。下述说明为参照图 13,写入单元阵例可最佳化以适应皮肤表面的轮廓。这些写入单元可透过 焊接或黏性物将其连接在一起以固定于阵列。在此为了使阵列适应皮肤表 面的轮廓,具弹力的黏性或紧固件可以被使用。或者,写入单元例如架设 于在机械矩阵中的一阵列,机械矩阵例如可由如金属、聚合物等材质或陶 瓷材质所构成。在此为使阵列适应皮肤表面的轮廓的,写入单元可以利用 弹性材质或可弯曲材质来架设。或者,矩阵本身可以建构为可弯曲。矩阵 例如可形成可弯曲材质及/或弹性材质,例如弹性或可伸缩的聚合物(例如 橡胶或塑料)。

上述触觉显示写入装置阵列的运作为描绘于图12A及图12B。图12A 绘示由四个写入单元1201、1202、1203、1204所组成的一列,在起始位 置时,各自的接触尖端1291、1292、1293、1294邻接受试者的皮肤表面s 的接触部位,并且装置的z轴(标示为“A”)一般定向为在上述部位的皮 肤表面平面的法线。图示中的皮肤表面绘示为垂直于页面的平面。当装置 处于起始位置时,接触尖端可接触(如图所示)或接近接触皮肤部位。

在起始位置,各写入单元的致动器会重置,以使致动器不会施加压力 至基座的各角落,并且在此接触尖端不会向下(即在z方向上朝向皮肤) 位移或横向(即x-y方向)位移。此时,受试者可例如识别为“黑色(black)” (即图示中的BLK)。

接着,受试者所感觉到的影像的色彩信息会上传至装置的阵列,并且 驱动信号会传送至致动器,导致致动器对应的移动,其如图12B所示。

特别的是,对应写入单元1201′的位置的部分的影像为“黑色”。据此, 依据驱动信号,写入单元1201′的致动器1261、1261′、1261″不会位移, 并且在此触控尖端1291′不会向下或横向位移。如之前的驱动信号,受试 者可例如识别为“黑色”(即图示中的BLK)。

对应写入单元1202′的位置的部分的影像为“灰色(gyay)”。据此,依 据驱动信号,写入单元1202′的致动器1262、1262′、1262″会位移同样的 距离,导致触控尖端1292′会向下(即在z方向上朝向皮肤,沿着装置轴 线A)位移。受试者会识别此为“灰色”(即图示中的GRY)。在本实施例 中,较大的向下位移对应较大亮度值(即HSV色彩系统中的V)。受试者 会对应地识别到灰阶值;在z方向对着皮肤的较大位移会识别为“较亮”的 灰阶。

对应写入单元1203′的位置的部分的影像为“深蓝(dark bule)”。据此, 依据驱动信号,写入单元1203′的致动器1263、1263′、1263″中一个或多 个会位移同样的距离。至少一致动器位移的距离不同于其它致动器;并且, 如图所示,致动器1263、1263′、1263″为位移不同的距离:致动器1263′ 为位移较大的距离,并且致动器1263′为位移至最低。因此,基座1213会 倾斜并向下移动,以使接触尖端1293响下(对着皮肤表面)及横向(远 离装置轴线A)按压。由于倾斜的特定的定向及角度与横向移动的对应方 向及长度(于x-y平面的位移向量),则受试者会识别此为“深蓝(dark blue)” 色相(即图示中的DK BLU),并且具有特定饱和度。部分的影像具有不 同色相及/或不同饱和度,则驱动信号会不同,并且致动器的位移会导致不 同倾斜状态。

如上所述,较大向下位移(在z方向上的位移向量)例如对应较大的 亮度值(即HSV色彩系统中的V)。针对具有特定色相及饱和度的色彩, 受试者会对应地识别到亮度值:在z方向上对着皮肤进行较大位移识别为 “较亮”的色彩。经由图标可知,对应写入单元1204′的位置的部分的影像 为“鲜蓝(bright blue)”。据此,依据驱动信号,写入单元1204′的致动器 1264、1264′、1264″中的一个或多个会位移同样的距离。在上述实施例中, 色相及饱和度值相同于“深蓝”,并且致动器1264、1264′、1264″间位移的 差距相同于写入单元1203′的致动器1263、1263′、1263″间位移的差距。 然而,在此致动器1264、1264′、1264″位移对应较大亮度的额外距离。因 此,基座1214的倾斜在某种程度上相似于基座1213,但更向下移动,以 致于接触尖端1294′相较于接触尖端1293′更向下(对着皮肤表面)按压, 但是在横向(远离装置轴线A)上具有相似距离及相似方向。再者,由于 倾斜的特定的定向及角度与横向移动的对应方向及长度(于x-y平面的位 移向量),则受试者会识别此为“鲜蓝(bright blue)”色相(即图示中的BRT BLU),并且具有特定饱和度。并且,具有不同色相及/或不同饱和度的部 分影像,则驱动信号会不同,并致动器的位移会导致不同倾斜状态。

刺激以提供亮度值(基座于z方向上位移)可以选择性地与刺激以提 供其它色彩值(即基座倾斜)分开进行。在此允许在倾斜期间施加额外的 按压,以确保在倾斜时探针接触尖端的横向移动的良好感应。

可以理解的是,在上述图示中由四个写入单元所组成的一列组成部份 的写入单元阵列;并且此阵列在每一列中可具有多个写入单元。6×8的阵 列(即阵列具有6列,且每一列具有8个写入单元1302)的实施例为图示 于图13的平面图。于平行于图纸平面的平面上,阵列1300中的写入单元 (例如写入单元1302)一般为垂直排列;换言之,上述写入单元为配置于 大致平行的多列(例如标示R′、R″)及大致平行且垂直于这些列的多行(例 如标示C、C′)。

写入单元为象徽性的描绘于图示中;各写入单元1302包括基座1312 及致动器1361、1361′、1361″,基座1312于顶点配置具有接触尖端1392 的探针,致动器1361、1361′、1361″耦接相对于顶点的另一侧的角落。基 座为架设于一支撑器(未绘示)上,支撑器用以维持阵列的几何结构(换 言之,基座排列于阵列的平面上),并同时固定写入单元大致垂直于皮肤 表面及允许基座朝向及远离皮肤表面移动与倾斜离轴。

在此图标中,阵列绘示为平面;换言之,例如参照图12A及图12B, 在起始位置时,致动器处于重置,并且接触尖端的位置邻接皮肤上的接触 部位,接触尖端皆位于x-y平面,并且皮肤表面绘示为平面。实际上,想 当然,受试者的身体表面为曲线的,并且皮肤表面为非平面。据此,上述 支撑器在配置时可最佳化以适应皮肤表面。

可适应的支撑器可以包括可弯曲及具有弹性的膜;并且,基座可以透 过将其相对于顶点的一侧直接贴附于膜上以固定于膜上。对于基座阵列支 撑器而言,合适的膜材质例如包括纸片或塑料薄膜;并且,可弯曲的黏性 胶带可能更加适合。致动器可架设于额外的支撑器,以于在就绪位置重置 时固定致动器对齐基座及与皮肤表面保持固定距离。对致动器而言,上述 额外的支撑器可以为可弯曲且具有弹性的膜;并且,关于基座支撑膜,致 动器支撑膜可以包括纸片或塑料薄朕,并且可弯曲的黏性胶带可能更加适 合。例如,致动器及基座在制作时可初始化地对齐并贴附于直线上。或者, 排列可执行于配置在受试者时,并且在排列时,摄影机可使用以协助排列。

在上述图示中,致动器及其与探针的耦接关系为象征性表示。任何不 同的致动器皆可使用。

每一致动器可以为一小型马达,例如为小型压电微马达。在纽约维客 多(Victor,NY.)的New Scale Technologies公司的结构分类中,上述小型 压电微马达被销售且命名为“Squiggle”。“Squiggle”马达包括压电元件,压 电元件连接螺母,且螺母锁住一颗螺钉。当压电元件为电性激励时,其会 产生形变,致使螺母在轨道上振动,以此移动螺钉。

再例如,写入器构成微机电系统(micro electrical mechanical system, MEMS)阵列,在此组成探针的投影柱或基座,可启动于z轴方向或x-y平 面上的方向。

在多个马达使用做为致动器时,该些致动器可以利用机械连结而耦接 到探针。致动器末端例如可透过系链耦接基座,系链可以为一可弯曲及/ 或可伸缩的链条;或者,例如以弹簧耦接,弹簧的两端分别贴附于致动器 末端及基座。或者,致动器末端例如可透过可伸缩的黏着物贴附于基座以 耦接基座。多个致动器与探针可为“并联耦接”(如图9A中象征性的图示) 或“串联耦接”(如图9B中象征性的图示)。在“并联耦接”结构中,每一致 动器为独立地连结至探针。换言之,z轴致动器94为直接连接(95)探针 92,第一x-y平面致动器96直接连接(97)探针92,并且第二x-y平面致动 器98直接连接(99)探针92。在此配置方式中,如探针经由任一致动器而 移位时,其它致动器必须适应探针的移动。在”串联耦接”结构中,第一及 第二致动器为彼此连结且连接至第三轴致动器。

在上述实施例中,每一写入单元具有三个致动器。在某些实施例中, 一个致动器用以分别代表色相色彩表示方式的三个属性的其中之一。在一 些实施方式中,可表现三个色彩属性的其中二个。例如,关于亮度(或值) 及色相的信息可以提供有用的彩色影像。或例如,关于色相及饱和度的信 息也可提供有用的彩色影像。在这些实施方式中,每一写入单元仅需要具 有两个致动器,如配置以提供探针于z方向及一个x-y平面方向的位移。 在其它实施例中,这些属性可以透过三个致动器的前后移动来表现,在此 三致动器位移的不同用以倾斜基座于特定角度的离轴,并且对于皮肤表面 位移的深度用以提供相关于亮度(或亮度值)信息,同时上述倾斜提供其 它色彩属性。在倾斜基座的某些实施方式中,可利用二个致动器来实现, 其可足以提供有用的彩色影像。

用以实现触视觉阵列的广义系统为绘示于图7A,并且将触视觉阵列 系统的全部功能可挂载于受试者的一种实施方式的实施例为绘示于图7B。 用以实现触视觉阵列的替代系统的实施例为绘示于图14A。整体来看,此 系统包括三个一般性功能,亦即彩色影像感测,利用影像传感器1402;彩 色影像处理,利用影像处理器1404;以及触觉色彩写入,利用影像写入器 1406。在此实施方式中,全部的功能可挂载于受试者的皮肤部份上,并且 配置写入单元阵列。数据在彩色影像传感器1402及彩色影像处理器1404 之间交换;以及在彩色影像处理器1404及影像写入器1406之间交换。数 据交换于挂载不同功能的元件间的方式可以是有线方式(例如,相互连接 的芯片至芯片、芯片到封装或封装到封装);或者,例如影像感测(摄影 机)功能及影像处理功能可整合为单一芯片、封装或封装装配。

影像传感器1402可例如为数字影像装置,例如数字摄影机或影像装 置(如数字或模拟影像传感器整合电路晶)。摄影机接收入射光,并且产 生代表影像的信号。摄影机可以传送如RGB(红-绿-蓝)信号。

影像处理器1404可例如为计算机(如个人计算机,PC)或整合电路 芯片,其被编程以接收来自影像传感器的影像,并执行转换以将RGB(此 为举例)转换为于像素式(pixel-by-pixel)基础上的色相色彩表示方式(例如 HSV或HSL)。举例来说,上述转换可透过JAVA程序来完成。对每一个 像素,影像处理器的输出包括带有对比信息的色相色彩信息。

影像写入器1406包括写入单元阵列,每一写入单元包括一探针及至 少两个(可选三个)致动器,这些致动器耦接探针且可启动以移动探针尖 端。致动器用以使探针尖端朝向或远离皮肤(在Z方向上)移动,并且使 探针尖端在横向(在X-Y平面)上移动。与影像写入阵列可以提供的做比 较,摄影机在视野内可以具有相当高的分辨率(即画素密度)。据此,较 低的像素影像亦可使用。影像处理器可将高分辨率影像处理为具有低像素 数的影像。

在一些实施方式中,触视觉阵列系统的全部功能可挂载于受试者。图 14B的例子绘示其中一种方式。在本范例中,影像写入阵列76架设于受 试者额头上皮肤的区域;摄影机1402与处理器1404架设为跨越或邻接写 入阵列。

具有倾斜基座型态写入单元阵列的触视觉系统可以如下述使用,请参 照图15。此阵列架设于皮肤区域且装置放置于起始位置,而接触尖端邻接 于受试者皮肤表面的接触部位,以及各装置的z轴一般是定向为在上述部 位的皮肤表面平面的法线。当装置处于起始位置时,尖端可以接触或接近 接触皮肤部位。色彩信息上传至装置的致动器。致动器响应色彩信息而启 动。在某种程度上,致动器在某种程度上取决于信号所表示的色彩特征来 移动基座。此基座可能倾斜,以引起接触尖端离轴横向移动,及/或基座可 朝向皮肤移动,以引起接触尖端朝向皮肤部位移动及按压与位移此部位的 皮肤表面。透过停止启动致动器,则此装置会回复至起始位置。受试者会 感觉到探针尖端于皮肤表面的位移作为对应色彩的瞬间触觉感受,并且会 透过上传的信息来表示。在横向位移期间,此尖端可滑过皮肤表面,并且 可使用润滑剂以使促进尖端的滑行,润滑剂例如胶状物、油脂、油膏等。 或者,尖端可不滑过皮肤表面,以致于横向移动可透过受试者皮肤的延展 而使受试者感知,并且接触部位上的皮肤可以经过处理以增加尖端与皮肤 的摩擦力。

其它实施例则参照专利范围所述。

虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所 属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作 些许的更动与润饰,故本发明的保护范围当视随附的权利要求范围所界定 的为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号