首页> 中国专利> 照射特性能够调节的用于捕获至少一个眼睛的至少一个参数的光学测量装置和方法

照射特性能够调节的用于捕获至少一个眼睛的至少一个参数的光学测量装置和方法

摘要

本发明涉及一种光学测量装置(1),其用于捕获穿戴光学测量装置(1)的测试人员(31)的至少一个眼睛(10l,10r)的至少一个参数,所述光学测量装置包括框架(4),配置成将光学测量装置(1)固定至测试人员(31)的头部;至少一个捕获单元(3l,3r),配置成光学地捕获至少一个眼睛(10l,10r)的至少一个参数;和照射单元(9,21,22),用于照射至少一个眼睛(10l,10r),其中照射特性通过照射单元(9,21,22)可调节。

著录项

  • 公开/公告号CN103458770A

    专利类型发明专利

  • 公开/公告日2013-12-18

    原文格式PDF

  • 申请/专利权人 SMI创新传感技术有限公司;

    申请/专利号CN201280014079.2

  • 申请日2012-03-15

  • 分类号A61B3/024(20060101);A61B3/107(20060101);A61B3/11(20060101);A61B3/113(20060101);G02B27/00(20060101);G02B27/01(20060101);G02B21/06(20060101);G06F3/01(20060101);A61B3/00(20060101);

  • 代理机构11021 中科专利商标代理有限责任公司;

  • 代理人周晨

  • 地址 德国泰尔托

  • 入库时间 2024-02-19 22:36:00

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-06-25

    专利权的转移 IPC(主分类):A61B3/024 登记生效日:20190606 变更前: 变更后: 申请日:20120315

    专利申请权、专利权的转移

  • 2017-04-05

    授权

    授权

  • 2014-03-26

    实质审查的生效 IPC(主分类):A61B3/024 申请日:20120315

    实质审查的生效

  • 2013-12-18

    公开

    公开

说明书

技术领域

本发明涉及一种用于捕获穿戴光学测量装置的测试人员的至少一个 眼睛的至少一个参数的光学测量装置,所述光学测量装置包括框架,其 配置成将光学测量装置固定至测试人员的头部;至少一个捕获单元,其 配置成光学地捕获至少一个眼睛的至少一个参数;和照射单元,用于照 射至少一个眼睛。本发明还涉及一种用于捕获至少一个眼睛的至少一个 参数的方法。

背景技术

从现有技术已知使用头戴式眼睛追踪装置。US RE39,539 E公开了 用于监控人的眼睛运动的设备。系统包括戴在人的头部上的框架、在框 架上用于朝向人的眼睛引导光的发射器阵列、以及在框架上用于检测来 自发射器阵列的光的传感器阵列。传感器检测被眼睛的各个部分或其的 眼睑反射的光,由此产生表示眼睛的反射部分被眼睑覆盖时的输出信 号。所述设备允许监控人的睡意水平。

US 6,163,281公开了一种利用人眼的运动进行交流的系统和方法, 包括用于朝向眼睛引导光的发射器、用于检测从发射器发出的光的传感 器、以及耦接至传感器用于将从传感器接收到的依次的光强信号转换成 数据流和/或将信号转换成可理解的信息的处理器。

US 2004/0196433 A1公开了一种用于监控使用者眼睛的运动的眼睛 追踪系统,包括眼相机和场景相机,用于供给表示使用者眼睛的图像和 被使用者观察到的场景的图像的隔行扫描电子视频数据。另外,所述系 统包含帧抓取器和光点位置模块,所述帧抓取器用于数字化视频数据和 用于将眼睛和场景数据分成两个处理信道,所述光点地点模块用于从视 频数据确定通过点光源照射使用者眼睛而在使用者眼睛上所形成的参考 光点的位置。所述系统还包括光瞳位置模块,用于确定使用者的凝视 线。

WO 2010/83853 A1公开了凝视点检测系统,具有放置在测试场景中 作为参考点的一个或更多的红外信号源,由测试对象穿戴的至少一对眼 镜以及用于计算人的凝视点的数据处理存储单元。眼镜包括适于检测来 自至少一个IR信号源的IR信号和产生IR信号源追踪信号的图像传感 器、适于确定测试对象人员的凝视方向和产生眼睛追踪信号的眼睛追踪 单元、以及适于获取测试场景图片的相机单元。

WO 2004/066097 A2公开了一种用于在使用者凝视的关注点处显示 视频屏幕指针的眼睛追踪系统。所述系统包括聚焦在使用者眼睛上的相 机、连接至相机用于固定相机至使用者的光瞳的相对位置的支撑件、以 及具有CPU和眼睛追踪界面的计算机。通过确定眼睛的中心,视频显示 屏幕上的指针可以被显示在关注点处。

US 2010/0220291 A1公开了一种眼睛追踪系统,具有透明透镜、至 少一个光源和多个光检测器。透明透镜适于设置在眼睛附近。至少一个 光源设置在透明透镜中并且配置成朝向眼睛发射光。至少一个光源透过 可见光。多个光检测器设置在透明透镜中并且配置成接收从至少一个光 源发射并且被眼睛反射的光。每一光检测器透过可见光并且配置成在接 收到被眼睛反射的光时供给输出信号。

已知的头戴式眼睛追踪器遭受以下缺点:被反射到测试人员的眼睛 上的环境杂散光可能不利地影响眼睛追踪功能。监控测试人员的眼睛的 相机可能不能够在明确地用于保持追踪眼睛运动的眼睛的特征和由环境 照射条件所引起的诸如反射的特征之间进行区分。通常,照射情形不能 够非常好地限定。可靠的眼睛追踪通常受到环境条件和不期望的干扰追 踪机制的杂散光危及。因此,已知的头戴式眼睛追踪器装置通常遭受有 限的精度和鲁棒性。为了改善检测精度,需要耗时且困难的校准程序。 另外,现有的眼睛追踪装置需要大量的多点校准程序,用于校准使用者 的眼睛的各种单独的特性。一种这样的特性是单独的角膜散光或角膜的 非球性-其针对于大约1/3的人群,如此显著大以致于需要光学修正,并 且另外如此显著大以致于需要通过用于眼睛追踪器校准的单独的修正。

发明内容

本发明的目的是提供一种允许更加可靠地捕获表征眼睛的至少一个 参数的方法和光学测量装置。

根据本发明所述的任务由具有根据专利权利要求1的特征的光学测 量装置和具有根据专利权利要求9所述的特征的方法来解决。本发明的 有利实施例是独立权利要求和说明书的主题。

根据本发明的光学测量装置用于捕获穿戴光学测量装置的测试人员 的至少一个眼睛的至少一个参数。所述光学测量装置包括框架,其配置 成将光学测量装置固定至测试人员的头部;至少一个捕获单元,其配置 成光学地捕获至少一个眼睛的至少一个参数;和照射单元,用于照射至 少一个眼睛。根据本发明,照射特性能够通过照射单元调节。

这样,可以产生非常好地限定的照射情形。可以有意地在测试人员 的眼睛上利用照射单元产生的反射,其可以之后被捕获单元捕获。通过 将由捕获单元所执行的捕获与照射特性根据类似锁定的技术(从测量信 号周期性地减去背景信号)相互关联,背景和杂散光可以被非常好地抑 制。捕获单元可能因此变得对环境杂散光不敏感。检测精度和眼睛追踪 能力非常高。照射特性可以用作用于捕获单元的识别图案。不需要复杂 的校准程序。

利用光学测量装置能够通过结构化照射直接评估角膜散光。这通常 是用单独的医学诊断装置(角膜散光计)来完成。根据本发明的实施 例,这一测量能力被有利地集成到头戴式装置中,并且与眼睛追踪器组 合,由此集成了用于结构化照射的角膜散光的评估和修正,而不是多个 校准点的。

有利地,照射单元配置成关于瞬时照射次序和/或空间照射分布能够 进行调节。照射单元可以包括单独的照射元件。之后,瞬时照射次序可 以通过改变照射元件的瞬时光发射特性来实现。瞬时照射次序可以之后 由开关切换频率给出。照射单元可以可替代地包括两个或更多的照射元 件。瞬时照射次序可以之后通过单独的照射元件的相关的或反相关的切 换给出。对于照射单元内的每一照射元件,可以实现不同的瞬时照射或 光发射图案。每一单独的照射元件的被反射的光强度的瞬时频率可以依 赖于一些或所有其它照射元件的各自的照射特性。空间照射分布可以通 过单独的照射元件的相关的照射时间轨迹来实现。因此,可以产生非常 好地限定的照射图案,其为至少一个眼睛建立了非常好地限定的照射环 境。照射图案越人工化,越容易将其与环境杂散光区分。另外,照射图 案可以被产生以使得针对于两个不同的传感器类型(例如相机传感器和 光子二极管(阵列)),尤其适于各自的传感器类型的灵敏型和分辨率特 性的不同的照射入射到眼睛上。

有利地,照射单元连接至框架,使得在光学测量装置固定至测试人 员的头部上时,其面对至少一个眼睛并且配置成发射辐射,使得所述辐 射至少部分地射到至少一个眼睛上。这样,在眼睛上的反射可以被有意 地产生。反射之后还显示与照射单元相同的照射图案。反射可以容易地 被捕获单元捕获,照射图案可以用作区别特征,以在有意的反射和由不 期望的杂散光所造成的反射之间进行分辨。检测精度被极大地改善。

有利地,照射单元包括至少两个照射部,所述至少两个照射部关于 它们的发光度和/或发光色彩和/或主辐射方向和/或光发射的瞬时次序能够 独立地进行调节。照射部可以与照射单元的照射元件相同。照射部可以 是分离的、单独的,并且关于其的照射特性在照射单元内是均匀的整 体。不同的照射部可以之后被空间上分开或关于它们的照射特性能够容 易地区分。发光度、发光色彩、主辐射方向和瞬时照射次序是可以由捕 获单元容易地捕获和识别的特性。

在一个实施例中,照射单元可以包括至少一个光波导和/或至少两个 照射体,尤其是发光二极管。发光二极管是长寿命的,不需要太多的电 力和具有非常好地限定的光发射特性。因此,它们非常适合于移动光学 测量装置。利用光波导和发光二极管,例如照射的点光源可以被实现。 可以因此非常好地限定空间照射图案。

有利地,照射单元可以配置成发射可见光。另外或可替代地,照射 单元可以配置成发射在红外光谱范围中(尤其是在750纳米和1000纳米 之间的波长范围中)的光。红外光可以被非常容易地与不希望的环境杂 散光区分。这样,进一步改善了检测精度。

有利地,所述框架包括用于接收眼镜透镜的至少一个框架元件,其 中在所述光学测量装置固定至测试人员的头部时,由框架元件所框住的 部分定位在测试人员的至少一个眼睛的前面,并且照射单元布置在框架 元件上或内。因此,不需要用于保持照射单元的额外的元件。尤其是, 光学测量装置可以被设计成眼镜装置,其可以被测试人员如传统的眼镜 那样戴上。照射单元之后将完全地集成到框架中,整个装置将类似于通 常的眼镜装置。这增大了测试人员的接受度。尤其是,照射单元可以之 后包括几个单独的照射部或照射元件,其可以以圆形的方式定位在围绕 每一眼镜透镜的360°的圆周上。可以实现非常好地限定的照射分布。

有利地,所述至少一个被捕获的参数与至少一个眼睛的方向和/或位 置和/或眼睑闭合和/或光瞳直径和/或异色边缘的特性和/或巩膜特性和/或 虹膜特性和/或血管特性和/或角膜特性有关。尤其是,至少一个被捕获的 参数可能关于角膜半径(前面的、后面的)、眼球半径、光瞳中心至角膜 中心的距离、角膜中心至眼球中心的距离、光瞳中心至角膜与巩膜的连 接部分(limbus)的中心的距离、角膜屈光折射率、角膜折射率、玻璃状 液的折射率、晶状体至眼球中心和至角膜中心和至角膜顶点的距离、晶 状体的折射率、视轴线方向、光学轴线方向、光瞳轴线(削色差轴线) 方向、视线方向、散光度(屈光度)和平坦和陡峭轴线的方向角、虹膜 直径、光瞳直径(光瞳长轴线和短轴线)、光瞳区域、异色边缘 (limbus)长轴线和短轴线、眼睛旋转、眼睛眼内距离、眼睛聚散度、在 眼睛内收/外展上的统计值和在眼睛突出/凹陷上的统计值。光学测量装置 可以之后用作眼睛追踪装置。

根据本发明的方法用于捕获测试人员的至少一个眼睛的至少一个参 数,所述方法包括下述步骤:

-将光学测量装置固定至测试人员的头部,所述光学测量装置包括至 少一个捕获单元和一个照射单元,

-通过照射单元照射至少一个眼睛;和

-通过捕获单元光学地捕获至少一个眼睛的至少一个参数;

-设定照射特性;和

-通过照射单元根据所述设定的照射特性照射至少一个眼睛。

有利地,在照射至少一个眼睛的步骤中,照射单元依赖于瞬时照射 次序和/或空间照射分布和/或照射图案被调整。

有利地,所述光学地捕获至少一个眼睛的至少一个参数的步骤包括 下述子步骤:

-光学地捕获至少一个眼睛的至少两个光反射和/或特征;和

-通过捕获的光反射和/或特征确定至少一个眼睛的至少一个参数。

尤其是,所述至少两个光反射可以由照射单元有意地产生。在一个 实施例中,至少两个光反射的第一光反射可以由照射单元的第一照射元 件产生,而至少两个光反射的第二光反射可以由照射单元的第二照射元 件产生。所述至少两个光反射可以之后直接反射由照射单元所实现的照 射图案。可替代地,照射单元可以仅仅用于照射眼睛,使得至少一个眼 睛的特征变得可以由各自的捕获单元检测。为此,可以使用特定的照射 色彩。

有利地,所述至少两个光反射和/或特征之后在由照射单元所引起的 不同的照射下被捕获。

在一个实施例中,所述方法包括下述另外的步骤:

-捕获关于测试人员的观察行为和/或眼睛运动特性和/或光瞳变化和/ 或环境条件和/或测试人员的输入的数据;

-依赖于所捕获的数据设定用于瞬时和/或空间照射分布和/或照射图 案的照射程序;

-根据所述设定的照射程序调整瞬时照射次序和/或空间照射分布和/ 或照射图案。

这样,照射程序可以被动态地调节至各自的情形。不同的照射程序 可以最佳地适合于测试人员的不同的观察行为、眼睛的运动特性、光瞳 直径或环境照射条件。捕获单元可以确定这样的变化并且基于这一信 息,照射程序可以被自动地调节。如果测试人员认识到检测精度需要改 善,那么还可以可替代地或另外地能够手动地设定照射程序。如果光学 测量装置被用在黑暗(例如在夜晚期间)中,那么不同的照射程序可以 导致比在白天条件期间所使用的照射程序更好的检测结果。用于捕获至 少一个参数的方法可以依据该环境变化被自动地调节,并且因此允许非 常好的眼睛追踪结果,甚至在极大地改变环境条件时。

本发明的另外的特征源自权利要求、附图和附图的描述。在说明书 中之前所述的所有特征和特征的结合以及与附图的描述和/或仅在附图中 所显示的特征进一步所述的特征和特征的结合不仅可用于在每一情形中 所指出的结合中,而且还可以以不同的结合使用或独自使用。

附图说明

现在参考单独的优选实施例和参考附图详细说明本发明。下面显示 出这些:

图1A是根据本发明实施例的眼镜装置的正视图;

图1B是图1A的眼镜装置的侧视图;

图1C是图1A的眼镜装置的俯视图;

图1D是图1A的眼镜装置的透视图;

图2是眼镜装置的后视图;

图3是眼镜装置的示意后视图,其中眼相机利用偏转元件来将其的 光学路径引导到眼睛上;

图4是示意性地显示出眼相机的取向的眼镜装置的侧视图;

图5是被眼镜装置所包含的单独的电子部件的示意图;

图6A是表示用根据现有技术的光学测量装置所获得的大的视差的符 号的图片;

图6B是显示用根据本发明实施例的眼镜装置的表示没有视差的符号 的图片;

图7是视差模型;

图8是比较根据现有技术和根据本发明实施例的测量装置的视差的 视图;

图9A是通过场景相机所获取的第一视场;

图9B是通过场景相机所获得的第二视场;

图10A是眼镜装置的示意侧视图,其中眼相机的光学路径在从眼相 机至眼睛的直线上延伸;和

图10B是眼镜装置的示意侧视图,其中眼相机的光学路径从眼相机 经由反射镜延伸至眼睛。

具体实施方式

在附图中,相同的元件或具有相同功能的元件被给予相同的参考标 记。图2、3和4显示出具有笛卡尔坐标系和垂直的轴线x、y和z的相 同的参考系。

图1A至1D显示出光学测量装置,其分别具有眼镜装置1或眼睛追 踪装置的形式。眼镜装置1被设计成使得人员可以将其穿戴在其的头 上,正如通常的一对眼镜那样。其包括具有两个侧杆5l和5r的框架4, 所述两个侧杆将眼镜装置1支撑在穿戴其的人员的耳朵上。另外,眼镜 装置1通过鼻托7被保持在头上的适合位置。主框架具有具体的宽度 w1和高度h。其长度l依赖于侧杆5l和5r的长度。如在图1C中所看到 的,侧杆5l和5r被铰接至框架4的前部,使得在侧杆5l和5r之间的距 离w2可以被放大或缩短(参见在图1C中的对侧杆5l的虚线侧杆配 置)。

可替代地,光学测量装置可以不设计成常规的一对眼镜的形式,而 是可以被设计成使得其类似于具有面罩(形成框架插入件)的头盔(形 成框架)。

在框架4中的鼻托7上方,安装了场景相机2。其可以连接至或一 体集成到框架4中。利用场景相机2,事实上可以捕获如由测试人员在 穿戴眼镜装置1时所看到的那样的类似视场。在框架4的下部中,眼镜 装置1包含两个眼相机3l和3r。在眼镜装置1被人穿戴时,可以通过眼 相机3l和3r捕获人眼,该眼相机3l和3r被以适合的角度集成到框架4 中。眼相机3l和3r被设计成分别观看人的左眼和右眼,即捕获人眼的特 征。

框架4包括两个开口,所述两个开口填充有由此形成了框架插入件 的眼镜透镜8l和8r。由场景相机2和眼相机3l和3r所获取的图片引起 信号,所述信号在集成到侧杆5l和5r中的一个或几个预先处理单元6 中被处理。

图2显示眼镜装置1的内侧视图。沿框架部分包封眼镜透镜8l和8r 的边缘,以环形布置定位几个发光二极管(LED)9。当眼镜装置1被人穿 戴时,这些LED9可以以限定的方式照射测试人员的眼睛。LED9将导 致对于所有可能的凝视角度在测试人员的眼睛上的反射(角膜反射)。这 些反射可以由眼相机3l和3r检测并且可以用于眼睛追踪。

LED9可以遵循特定的时间图案、选通特性或空间变化被单独地、成 组地或所有一起地切换成打开和关闭。不同的LED9或LED9组的开关 切换频率可以变化。特定组的LED9可以精确地在其他组的LED9被关 闭时打开。具体的空间和瞬间相关图案可以关于切换并且因此关于照射 特性被实。这样,在可以被容易地由眼相机3所识别的眼睛上可以生成 反射图案。

具有最重要的电子部件的整体装配在图5中示出。眼相机3l和3r通 过100mm长的缆线14连接至特定的相机电子装置15。尤其是,相机3l 和3r仅包括基本的电子部件,而他们的主要电子部件定位在相机电子装 置15内。这样,相机3l和3r的基本“光学部件”可以相对于相机电子 装置15内的基本“电子部件”远程地定位。所述部件两者之后可以通过 柔性PCB缆线14连接。这样,光学传感器和在相机3l和3r内的基本电 子部件形成了非常小且高紧凑的整体,而在电子装置15内的大量的电子 部件可以被放置在更多的大规模的集成电路板的其他位置上。电子装置 15连接至预先处理单元16,所述预先处理单元可以处理来自眼相机3l 和3r的信号。预先处理单元16可以与定位在眼镜装置1的侧杆5l和5r 中的预先处理单元6相同。预先处理单元16连接至USB集线器 (hub)19。安装在框架4中的LED9形成了布置成围绕眼镜透镜8l和 8r的环形配置的第一和第二IR LED链条21和22。IR LED链条21和22 连接至IR LED恒流源20,其也连接至USB集线器19。USB集线器19 另外用作IR LED恒流源20的电源。IR LED链条21和22的LED9可 以被单独切换成打开和关闭。为了实现这个,它们可以以实施对每一 LED9单独电切换的并行网络被连接至IR LED恒流源20。

USB集线器19经由USB2.0缆线25连接至预先处理单元26。在 预先处理单元26中预先处理的信号最终在个人计算机27中被分析,所 述个人计算机包括记录器装置28。形成眼镜装置1上的接口的另外的辅 助/同步端口13也可以连接至USB集线器19。辅助/同步端口13可以用 作与其他电子装置同步或用于触发平行的数据获取的接口。电子装置 15、预先处理单元16、USB集线器19和IR LED恒流源20定位在共 同的印刷电路板PCB23上。

类似于该构造,场景相机2也经由100mm缆线14连接至电子装置 15。在该情形中,电子装置15定位在第二印刷电路板PCB24上,其也 包括预先处理单元17。预先处理单元17可以基于根据DaVinci数字信 号处理器(DSP)的电子装置。其包含用于编码从电子装置15接收到的 信号的MPEG编码器18。麦克风12也可以连接至预先处理单元17。 定位在PCB 24上的预先处理单元17连接至USB集线器19。这样,由 场景相机2所获取的处理信号最终在个人计算机27中被分析。

预先处理单元6,16,17和26可以能够压缩由两个眼相机3l和3r以 及场景相机2所产生的三个图像流中的至少一个。在此处,不同的替代 方案是可行的。预先处理单元可以仅压缩一个相机的图像流,而每个相 机具有其自身的预先处理单元。可替代地,单个预先处理单元可以压缩 所有相机的图像流。另外,预先处理单元可以配置成经由系统接口和对 应的软件通过调节分辨率、感兴趣的区域、帧速率和压缩参数来管理带 宽。预先处理单元可以被设计成同步地触发相机的图像获取。它们可以 为每一个被获取的图像提供时间标记,其可以用于离线地同步几个或所 有相机数据流。

预先处理单元可以定位在相机的集成电路板上、或者定位在头安装 件处或上(例如在眼镜装置1的侧杆5l或5r中)的单独的集成电路板 上、或在由测试人员31所穿戴的单独的壳体中,例如在带上。

眼镜装置1还可以包括辅助接口,其允许实时地从外部传感器获取 数据。这样的传感器可以是生物测量传感器(包括但不限于EEG,ECG 等)或姿态传感器(包括但不限于加速计、磁力计、陀螺仪等)。之后可 以将外部传感器的数据流与从相机2,3l和3r所获取的数据流同步。另 外,可以提供被外部时钟或触发信号,其可以由外部传感器使用以使它 们自身与所述系统同步。从接口所获取的数据的带宽可以通过集成到所 述系统中的在其专用记录单元28中的机载处理资源的方式被减小或压 缩。

眼相机3l和3r可能适合于可见光或近红外光。它们可以相对于竖直 的中心线对称地定位,该竖直的中心线将使用者的面部分成两半。眼相 机3l和3r可以分别定位在眼睛10l和10r的前面和下面,例如在一对眼 镜透镜8l和8r的下边缘处,以30°至50°的角度指向眼睛10l和10r,并 且以30°至50°的角度安装在框架4中。

在实施例中,眼相机3l和3r在近红外中是敏感的。它们具有 640*480的分辨率并且以60Hz的频率读取。

场景相机2可以定位在竖直的中心线上,该竖直的中心线在框架4 的鼻桥处将使用者的面部分成两半。可替代地,其还可以定位在头盔、 帽或头带的边缘处或附近。场景相机2可以具有HD(高清晰度)和/或 至少720P(1280×720像素)可调节的分辨率,并且在30Hz或60Hz操 作。其可以沿风景或人像的取向被安装。另外,其可以被安装以使得其 的取向可以从风景变化到人像取向(相机辊)以及还有相机所指向的方 向(相机云台)。

代替单个场景相机2,眼镜装置1还可以包括一对场景相机,其中 每个场景相机可以在人像模式或风景模式中取向。另外,每个场景相机 可以独立于各自的第二场景相机取向。可替代地,两个场景相机2可以 具有固定的取向,其可以彼此相同或可以彼此不同。

另外,棱镜或透镜可以安装在场景相机2的前面,以产生场景相机2 相对于眼镜的视场的不同定位,尤其是用于近范围读取应用的更加向下 取向的视场。

6个LED9围绕每个眼镜透镜8定位。它们以850nm的中心波长在 红外波长范围内(典型地大于750nm并且小于1000nm)发射。它们被由 IR LED恒流源20提供的50mA电流驱动。

代替用LED9直接照射眼睛,可以设想具有光导的实施方式。一个 或几段的光导(例如光纤)可以被使用。眼睛的照射可以用聚焦光学器 件(结构照射)来实施。替代LED9,适合的衍射光学器件或激光器可以 被用于产生照射眼睛的相干光的图案。光源可以与光学元件一起使用, 用于(例如用聚焦光学器件或衍射光学器件)产生在眼睛10l和10r上的 反射图案。照射源可以发射可见光或近红外光。照射源可以定位在框架4 中或上,尤其是在围绕眼镜透镜8l和8r的圈形布置中。可替代地,照射 源可以定位在头戴式显示器的边缘或框架上。其可以具体地被设计成在 测试人员31的眼睛表面上产生反射图案。

在图2所示的眼镜装置1被测试人员穿戴时,图10A中所示的情形 以简化的方式实现。眼相机3被布置成使得,在眼镜装置1固定至测试 人员的头部的情况下,在框架4上,捕获眼睛10的至少一个参数的光学 路径M在从眼相机3至眼睛10的直线上延伸。

图3和10B显示眼镜装置1的不同配置。眼镜装置1包括形成了连 接至框架4的光学偏转元件的反射镜11,反射镜11和眼相机3布置成使 得,在眼镜装置1固定至测试人员的头部上的情况下,在框架4上,用 于捕获眼睛10的至少一个参数的光学路径M从眼相机3经由反射镜11 延伸至眼睛10。图3的三维视图显示出从后视的角度或内视的角度的眼 镜装置1。在附图中,左右眼睛10l和10r的反射分别显示在眼镜透镜8l 和8r中。坐标系是笛卡尔坐标系,且z轴线被引导到投影平面中。

因此,眼相机3l和3r可以被安装在眼睛10l和10r的前面和上方, 且光导或反射镜11定位在眼睛10l和10r的前面和下方,例如在一对眼 镜透镜8l和8r的下边缘处,用于从向前和低的透视角度获取每一眼睛 10l和10r的图像,并且使得所述图像对于眼相机10l和10r是可见的。 光导或反射镜11可以是(平坦的)反射镜、球形反射镜、拱顶、定制透 镜、全息图像光导等。反射镜11可以仅反射特定范围的波长和对于其他 是透射的。

反射镜11可以是平坦的反射镜或球形反射镜。球形反射镜的优点在 于其放大了眼相机3的视场超过用平坦的反射镜可获得的视场。图3的 配置另外允许将光学系统放置成非常靠近眼睛10(设定方向),由此改善 了工效学和美学。测试人员自己的视场很难被阻挡。反射镜11可以是所 谓的热反射镜,即反射镜11在可见波长范围中是透射的而在红外波长范 围中具有较高的反射率。其可以非常薄且中空的(所谓的拱顶),因此最 小化了由于折射所引起的变形。其可以由显示出非常小的折射率(IOR) 的材料制造。

在两种情形(图10A和10B)中,眼相机3被布置成使得用于捕获 眼睛10的至少一个参数的光学路径M排除了框架插入件,即眼镜透镜 8。另外,眼镜透镜8被布置成使得眼睛10的光学轴线K和光学路径M 作为单个结合地使用的光学元件包括眼睛10。另外,光学路径M整体 在空间Sp中延伸,其在面向眼睛10的眼镜透镜8的一侧上延伸。

图2和3以及图10A和10B所示的实施例分别都减小了由于上眼睑 造成的眼睛闭塞。

图6A至8显示了与现有技术相比减小了眼镜装置1的视差。如从 图6A所见,测试人员实际上将其眼睛聚焦到物体29的位置和由眼镜装 置1所确定的关注点32通常在使用如从现有技术所已知的眼镜装置1时 不是很好重合。这种效果通常是测试人员越靠近将被聚焦的物体29定位 时越明显。然而,根据本发明实施例的眼镜装置1,所确定的关注点32 和实际物体29之间的重合非常好,甚至对于低至0.5m的测量距离(参 见图6B)。这通过最小化眼球中心和相机焦点之间的距离来实现。

所述情形再次在图7中示出。由于眼睛10和场景相机2定位在略微 不同的位置上,所以在他们的各自用于聚焦物体29的视角上的差别在物 体29分别地越靠近眼睛10和场景相机2定位时预加明显(即对于更小 的z值具有更大的变形)。眼镜装置1可以在图6B所示的情形中被校 准。物体29之后位于校准平面P中并且通过校准眼镜装置1,可以保证 所确定的关注点32实际上落到实际的物体29上。通常在距离测试对象 的某一距离处的平面上执行校准。其将所测量的凝视方向(角度)与在 场景视频帧中的像素相关联。这一计算仅对于位于所述校准平面中的点 给出了有效的结果。位于未在所述平面中的点,引入了系统误差(视 差)。当眼镜装置与物体29的距离被增大时,所述至校准平面P的距离 和至物体29的实际距离之间差别导致了明显的偏差。对于根据本发明实 施例的眼镜装置1,对于所有距离d的这些偏差或视差(由在图8中的符 号S2圆圈表示)远小于根据现有技术所述的装置的偏差或视差(符号 S1、矩形)。细交叉线与符号S2的组相关,而粗交叉线与符号S1的组相 关。所述交叉线对应于用于校准目的关注点32。

视差被数学建模为场景相机2的位置相对于眼睛位置的函数。由于 视差所造成的凝视估计误差通过将场景相机2根据由数学模拟所显示的 结果尽可能地靠近眼睛10放置而被最小化。视差可以通过利用双眼追踪 的光折射度数估计至关注点的距离和通过估计眼睛相对于眼睛追踪装置 的位置而被进一步修正。

为了实现甚至更好的结果,场景相机2的视场可以被优化。具有标 准光学器件的场景相机2具有不覆盖全部生理学凝视范围(标准光学器 件的水平视场:40°至50°;典型的生理学凝视范围为60°)的视场。在 实施例中,场景相机2的视场因此可以根据各自的应用被优化。在图9A 和9B中示出了一个这样的视场优化方法。穿戴眼镜装置1的使用者同时 观看背景B和他的移动电话30。根据图9A,视场FOV1主要覆盖背景 B。当测试人员31向下看他的移动电话30时,凝视方向的变化自动地由 眼相机3l和3r确定,场景相机2的视场自动地通过从风景切换至人像取 向而被调节(视场FOV2)。这可以通过场景相机2的z轴线90°的机械 滚动或通过使用在场景相机2的前面的光学棱镜来实现。另外,使用具 有不同的倾斜或滚动角度的两个场景相机是可行的。可替代地,另外光 学分束器可以被用在场景相机2的前面。

总之,眼镜装置1形成了头戴式眼睛追踪系统,其由三个相机构 成:两个眼相机3l和3r和至少一个场景相机2。三个相机3l,3r和2可 以具有可管理的带宽,例如通过可调节的帧速率或分辨率。一个或几个 预先处理单元6,16,17和26可以存在,其执行从相机2,3l和3r所接收 到的视频流的可变的压缩。视频流的压缩水平可以与眼相机3l和3r以及 场景相机2相同,或者视频流可以针对眼相机3l和3r和场景相机2被 单独地压缩。眼相机3l的帧速率可以对应于全速获取,眼相机3r的帧 速率可以对应于1/10速度获取,场景相机2的帧速率可以对应于1/2速 度获取。代替调节不同相机的帧速率,可替代地,获取速率可以被选择 成相同,而数据处理被针对于每一相机不同地执行。即便两个相机获取 了相同量的数据,由一个相机所提供的数据可以比由另一相机提供的数 据更大地压缩。还可以组合不同的压缩速率与不同的获取速率。还可以 在传送数据时省略例如每隔一秒所获取的图像,由此将发送至CPU的数 据量减小至一半。相机2,3l和3r的信号可以经由无线或有线接口被传送 至PC 27中的CPU(参见图5)。用于其他数据源的辅助接口和用于与这 些数据源同步的方法可以在眼镜装置1中被实施。

眼镜装置1可以犹如包括几个可交换件的系统。眼镜装置1可以具 有对于有小或大鼻子的面部的可更换组的鼻件或鼻托7。这样,眼镜装置 1可以穿戴在视力矫正眼镜上,而不造成问题。另外,眼镜装置1具有 用于可更换眼镜的保持机构,其可以对于特定的波长范围具有不同的光 透射水平(例如透明眼镜或太阳镜)。另外或可替代地,可更换的眼镜可 以具有近红外光学滤光片,以匹配照射源的波长和阻挡在相同和类似波 长的外面的所有光或一些光到达眼睛表面,以改善眼睛表面上的信噪 比。眼镜装置1具有边缘和鼻桥,其用作眼相机3l和3r以及场景相机 2的安装件或壳体。眼相机3l和3r被安装使得它们的视场延伸到可更换 的眼镜8l和8r的后面。

对于眼镜装置1,可以进行眼睛追踪、超自然测量 (occulometrics)、生物学测量和位置移动测量,用于在自由范围移动的 装配中尽可能全面地测量和分类人类的行为。头戴式眼睛追踪装置被实 现,其是不需校准的且提供了散光估计。眼睛追踪功能性具有零启动时 间。不需要调整。测试人员31可以仅将眼镜装置1放置到其上并且开始 使用其。其具有覆盖人类眼睛运动的生理学范围的非常大的凝视追踪范 围(水平上80°,竖直上60°)。其是非常鲁棒性的并且在凝视映射中具有 高精度散光被补偿,视差被最小化,光轴轴线偏移被补偿并且所述装置 不需校准,或可以使用一个点的校准特征进行校准。另外,其被设计成 不管人种(高加索人、亚洲人、非洲人等)、性别和年龄进行工作。场景 相机2的视场被优化。通过使用光学、惯性或磁性传感器,头部追踪功 能可以被实施。眼镜装置另外提供了生物测量特征,诸如测量光瞳直 径,并且提供了与EEG,ECG等的接合和同步选项。最终,可以与头戴式 显示器集成在一起。可以将虚拟图像投影到便携式计算机屏幕的使用者 眼睛上。另外,提供了使用眼睛运动(凝视、眨眼)与虚拟图像中的 “物体”互动的可能性。

头部追踪功能可以通过使用三轴线陀螺仪、三轴线加速计和/或三轴 线磁力计来实现,且对于六维的头部追踪具有可选的传感器融合。

总之,眼镜装置1提供了非常特定的光学和电子构造。关于电子构 造,具有可分配的带宽的三个或更多的高分辨率相机被集成到所述装置1 中。可以设想用于眼相机3l和3r和场景相机2的单独的处理通道。光 学构造的特点在于具有各种性质的可更换的眼镜。眼相机3l和3r的光学 路径分别延伸到眼镜或眼镜透镜8l和8r的后面。另外,一组LED9允许 对眼睛10l和10r的高度可变的照射。例如,可以控制围绕眼睛的照射几 何构型。可以相对于频闪效应和次序控制特定的LED子组。最终,眼睛 照射可以通过点、线或两维光源来实现。

参考标记

1 眼镜装置

2 场景相机

3,3l,3r 眼相机

4 框架

5l,5r 侧杆

6 预先处理单元

7 鼻托

8,8l,8r 眼镜透镜

9 LED

10,10l,10r 眼睛

11 反射镜

12 麦克风

13 辅助/同步端口

14 缆线

15 电子装置

16 预先处理单元

17 预先处理单元

18 MPEG编码器

19 USB集线器

20 IR LED恒流源

21,22 IR LED链条

23,24 PCB

25 USB2.0缆线

26 预先处理单元

27 PC

28 记录器

29 物体

30 移动电话

31 测试人员

32 关注点

w1,w2 宽度

h 高度

l 长度

a 倾角

K 光学轴线

M 光学路径

O 系统参考原点

P 校准平面

Sp 空间

d 距离

S1,S2 符号

B 背景

FOV1,FOV2视场

x,y,z轴线

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号