用于视线焦点定位的可穿戴设备及视线焦点定位方法

摘要

本发明公开一种用于视线焦点定位的可穿戴设备及视线焦点定位方法，该设备包括：眼镜支架，眼镜支架的左右眼镜框上分别安装多个红外光源；多个红外光源分布于左右眼镜框上不同位置，用于从不同角度照射虹膜；左右眼镜框上还分别安装有用于拍摄红外光源照射下的虹膜图像的摄像头；眼镜支架上还安装有信号处理单元，信号处理单元包括：同步控制模块，用于控制多个红外光源按设定顺序分别开启，在红外光源开启的同时，同步触发开启的红外光源所在眼镜框上的摄像头拍摄红外光源照射下的虹膜图像；图像处理模块，用于对虹膜图像进行处理，建立左右眼虹膜的3D模型；根据左右眼虹膜的3D模型，定位左右眼视线焦点。本发明可以实现高精度的视线焦点定位。

说明书

技术领域

本发明涉及视线追踪技术领域，尤其涉及用于视线焦点定位的可穿戴设备及视线焦点 定位方法。

背景技术

人类通过眼睛获取大量信息，同时使用眼睛来表达情绪与想法。人们可以通过追踪视 线焦点的方式，获取眼睛传递出的丰富信息；进而进行有效的人机交互，以及传播学、心 理学等领域的研究。视线追踪是利用各种检测手段，获取“注视点”的过程，并保证能在 一段时间对其进行连续追踪的技术。该技术广泛应用于人机交互、虚拟现实等领域。

现有的视线追踪技术往往通过摄像机采集人脸或脸部图像，利用光学方法计算获得并 追踪视线方向。根据系统搭建的不同，视线追踪设备可分为穿戴式和非穿戴式。穿戴设备 通过摄像头采集眼部图像，首先确定相机坐标系中的视线方向；再通过增加外设等方法以 确定世界坐标系中的视线方向。非穿戴式设备，则是通过多个外部摄像机采集照射眼部并 获取眼部图像，直接得到测试者视线的空间坐标。非穿戴设备最大的缺点是：需要红外点 光源准确照射眼部，因此不能随便移动头部位置；同时对摄像头精度要求高，也极易受到 环境因素影响，不易推广。

根据光学方法的不同，视线追踪技术可分为2D视线追踪技术和3D视线追踪技术。2D 追踪技术以瞳孔-角膜反射法为代表，利用瞳孔中心与角膜亮斑组成的向量表征视线方向。 2D追踪技术已有不少类似设备，例如现有技术中已有一种基于人眼图像和视线追踪的操作 指针指示控制设备，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操作控 制而实现人机交互，其在交互控制过程中，达到操作指针的指示位置与人眼视线所观察到 的现实场景相叠加的人机交互效果。该设备采用了红外测距传感器对人眼所在位置进行测 距，还通过其红外发射器实时地向人体眼睛所在位置发射出红外光，以此作为辅助的红外 光源，并借助红外光在人眼角膜上反射而形成角膜反射光斑，相应地采用微型红外摄像头 有效的拍摄人体眼睛所在位置的原始红外图像，用以进行人眼识别和视线追踪，避免了可 见光环境阴暗等情况引起的干扰，并且角膜反射光斑可用于在后续的视线追踪识别过程中 对角膜反射光斑中心所在位置加以定位，进而结合瞳孔中心所在位置，辅助实现对人眼的 视线方向加以捕捉。该设备还通过分割人眼区域图像的方式，不管原始图像中人眼位置是 否因为头部运动而发生位移变化，分割出的人眼区域图像的图像区域范围是相对固定的。

然而，此类2D视线追踪技术的缺点是利用的图像信息少，准确性和稳定性比较低。

3D追踪技术是通过双摄像头或多摄像头获得3D空间中各个参考点的坐标进行视线追 踪。相比2D追踪技术准确率和稳定性都有提升，其主要问题在于可用的3D特征比较少， 只能通过若干特征点获取眼球的大致的3D运动信息，而无法实现高精度的视线定位。

发明内容

本发明实施例提供一种用于视线焦点定位的可穿戴设备，用以实现高精度的视线焦点 定位并忽略头部运动的影响，该设备包括：

眼镜支架，所述眼镜支架的左右眼镜框上分别安装有多个红外光源；所述多个红外光 源分布于所述左右眼镜框上的不同位置，用于从不同角度照射虹膜；所述左右眼镜框上还 分别安装有用于拍摄红外光源照射下的虹膜图像的摄像头；

所述眼镜支架上还安装有信号处理单元，所述信号处理单元包括：

同步控制模块，用于控制所述多个红外光源按设定顺序分别开启；以及，在红外光源 开启的同时，同步触发开启的红外光源所在眼镜框上的摄像头拍摄红外光源照射下的虹膜 图像；

图像处理模块，用于对虹膜图像进行处理，建立左右眼虹膜的3D模型；根据左右眼 虹膜的3D模型，定位左右眼视线焦点。

一个实施例中，所述同步控制模块具体用于控制所述左右眼镜框上同时各有一个红外 光源开启，以及，控制所述左右眼镜框上的摄像头同时拍摄开启的红外光源照射下的虹膜 图像；

所述图像处理模块具体用于同时处理所述左右眼镜框上的摄像头拍摄的虹膜图像。

一个实施例中，所述图像处理模块具体用于：

结合虹膜图像对应红外光源的标定方向参数，基于光度学3D重建原理，对所述多个 红外光源从不同角度照射的虹膜图像进行处理，建立左右眼虹膜的3D模型；

对左右眼虹膜的3D模型进行平面拟合，获得左右眼虹膜的3D平面；

将左右眼虹膜的3D平面的法向分别确定为左右眼视线方向；

根据左右眼视线方向，结合所述左右眼镜框上的摄像头的标定参数，确定世界坐标系 下左右眼视线的焦点位置。

一个实施例中，所述摄像头配备红外滤光片。

一个实施例中，所述信号处理单元还包括：

通信模块，用于将定位的左右眼视线焦点位置发送至被操控设备；

和/或，用于供电的电源。

本发明实施例还提供一种视线焦点定位方法，用以实现高精度的视线焦点定位，该方 法包括：

获得多个红外光源分别从不同角度照射左右眼的虹膜图像；

对获得的虹膜图像进行处理，建立左右眼虹膜的3D模型；

根据左右眼虹膜的3D模型，定位左右眼视线焦点。

一个实施例中，左右眼同时各有一个红外光源照射，同时获得左右眼被红外光源照射 的虹膜图像；

同时处理获得的左右眼被红外光源照射的虹膜图像。

一个实施例中，对获得的虹膜图像进行处理，建立左右眼虹膜的3D模型，包括：

结合虹膜图像对应红外光源的标定方向参数，基于光度学3D重建原理，对多个红外 光源分别从不同角度照射左右眼的虹膜图像进行处理，建立左右眼虹膜的3D模型；

根据左右眼虹膜的3D模型，定位左右眼视线焦点，包括：

对左右眼虹膜的3D模型进行平面拟合，获得左右眼虹膜的3D平面；

将左右眼虹膜的3D平面的法向分别确定为左右眼视线方向；

根据左右眼视线方向，确定世界坐标系下左右眼视线的焦点位置。

一个实施例中，根据左右眼视线方向，确定世界坐标系下左右眼视线的焦点位置，包 括：

根据左右眼视线方向，结合拍摄左右眼虹膜图像的摄像头的标定参数，确定世界坐标 系下左右眼视线的焦点位置。

一个实施例中，该方法还包括：

将定位的左右眼视线焦点位置发送至被操控设备。

本发明实施例的用于视线焦点定位的可穿戴设备及视线焦点定位方法，利用多个红外 光源分别从不同角度照射左右眼，获得多个红外光源分别从不同角度照射左右眼的虹膜图 像；对获得的虹膜图像进行处理，建立左右眼虹膜的3D模型；根据左右眼虹膜的3D模型， 定位左右眼视线焦点；由于建立左右眼虹膜的3D模型所基于的虹膜图像是由多个红外光 源分别从不同角度照射左右眼而获得的，因此相对于现有的3D追踪技术，可用的3D特征 比较多，能够获取眼球的较为详细的3D运动信息，因而能够实现高精度的视线焦点定位。 此外，本发明实施例的用于视线焦点定位的可穿戴设备还设计成眼镜的形状，从而实现穿 戴式操作，可以忽略头部运动的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。在附图中：

图1为本发明实施例中用于视线焦点定位的可穿戴设备的示意图；

图2为本发明实施例中用于视线焦点定位的可穿戴设备的详细工作原理图；

图3为本发明实施例中视线焦点定位方法的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实 施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不 作为对本发明的限定。

为了实现高精度的视线焦点定位，本发明实施例提供一种用于视线焦点定位的可穿戴 设备及视线焦点定位方法，利用三维重建技术重建出眼球内虹膜的三维形状，通过对三维 模型的分析得出两个眼球的视线方向，进而得到双目视线方向的交点，从而达到追踪视线 焦点的目的；在实时获得眼球内虹膜图像并作分析处理的情况下，本发明实施例可以实时 追踪视线焦点。

下面先介绍本发明实施例的用于视线焦点定位的可穿戴设备。图1为本发明实施例的 用于视线焦点定位的可穿戴设备的示意图。如图1所示，该设备可以包括：

眼镜支架1，所述眼镜支架1的左右眼镜框上分别安装有多个红外光源2；所述多个 红外光源2分布于所述左右眼镜框上的不同位置，用于从不同角度照射虹膜；所述左右眼 镜框上还分别安装有用于拍摄红外光源2照射下的虹膜图像的摄像头3；

所述眼镜支架1上还安装有信号处理单元4，所述信号处理单元4包括：

同步控制模块，用于控制所述多个红外光源2按设定顺序分别开启；以及，在红外光 源2开启的同时，同步触发开启的红外光源2所在眼镜框上的摄像头3拍摄红外光源2照 射下的虹膜图像；

图像处理模块，用于对虹膜图像进行处理，建立左右眼虹膜的3D模型；根据左右眼 虹膜的3D模型，定位左右眼视线焦点。

具体实施时，用于视线焦点定位的可穿戴设备利用多个红外光源分别从不同角度照射 左右眼，获得多个红外光源分别从不同角度照射左右眼的虹膜图像；对获得的虹膜图像进 行处理，建立左右眼虹膜的3D模型；根据左右眼虹膜的3D模型，定位左右眼视线焦点； 由于建立左右眼虹膜的3D模型所基于的虹膜图像是由多个红外光源分别从不同角度照射 左右眼而获得的，因此相对于现有的3D追踪技术，可用的3D特征比较多，能够获取眼球 的较为详细的3D运动信息，因而能够实现高精度的视线焦点定位。该设备结构简单，低 成本，并且，红外光源对人眼安全，不影响人的正常工作；以眼镜的形式使用，与头部位 置自然固定，不受头部运动影响。实施例中，可以基于3D光学原理，实现虹膜的动态的 3D重建，能够得到虹膜的高精度的3D形状，进而得到视线信息。

具体实施时，左右眼的摄像头可以同时工作，得到左右眼的视线信息，进而结合2个 摄像头的标定信息获取视线焦点的位置；这样工作起来速度快，可以实现实时的3D重建 和视线焦点定位。实施时，同步控制模块具体可以用于控制左右眼镜框上同时各有一个红 外光源开启，以及，控制左右眼镜框上的摄像头同时拍摄开启的红外光源照射下的虹膜图 像；图像处理模块具体可以用于同时处理左右眼镜框上的摄像头拍摄的虹膜图像。

具体实施时，图像处理模块具体可以用于：结合虹膜图像对应红外光源的标定方向参 数，基于光度学3D重建原理，对多个红外光源从不同角度照射的虹膜图像进行处理，建 立左右眼虹膜的3D模型；对左右眼虹膜的3D模型进行平面拟合，获得左右眼虹膜的3D 平面；将左右眼虹膜的3D平面的法向分别确定为左右眼视线方向；根据左右眼视线方向， 结合左右眼镜框上的摄像头的标定参数，确定世界坐标系下左右眼视线的焦点位置。

由上述实施例可知，本发明实施例中，可以通过多个红外光源从不同角度对虹膜进行 顺序照射，同时，摄像头进行同步拍摄，基于光源方向等标定信息，采用光度学3D重建 方法，可以获取虹膜的高精度3D形状信息，进而分析出视线的方向信息，对左右眼同时 进行上述处理，并根据左右摄像头的标定参数获得左右摄像头的空间相对位置信息，就可 以计算出两个眼睛的视线方向，并统一到同一世界坐标系下，从而得到视线的焦点位置； 将该可穿戴设备设计成眼镜形状，从而使可以实现穿戴式操作，这样就可以忽略头部的运 动的影响。

实施例中，信号处理单元还可以包括通信模块，用于将定位的左右眼视线焦点位置发 送至被操控设备。例如，本发明实施例的用于视线焦点定位的可穿戴设备可以通过内置的 通信模块，如该通信模块为无线发射单元，将视线定位信息传输到智能终端，就可以实现 电脑、手机、平板等智能终端的眼控操作功能。实施例中，信号处理单元还可以包括用于 供电的电源。

下面再结合图1举例说明本发明实施例的用于视线焦点定位的可穿戴设备的基本原 理。如图1所示，本发明实施例的用于视线焦点定位的可穿戴设备主要由一个特殊的眼镜 支架，若干红外光源，例如红外LED模组(图1中为8个)，2个摄像头(可以配备红外 滤光片)，以及信号处理单元(可以包括同步控制模块、图像处理模块、及通信模块和电 源)。其基本原理如下：

1、系统标定部分，包括两部分，1)每个LED灯的光源方向信息(相对于其所在的左 /右摄像头坐标系)；2)左右摄像头组成的立体视觉系统的标定，主要获取两个摄像头坐 标系的空间位置关系；

2、三维重建部分，以左眼为例，主要步骤包括：

1)镜框上安装有4个红外LED及一个摄像头(可以配备红外滤光片，用于过滤掉红 外LED之外的环境光线)，由同步控制模块控制四个LED等顺序亮灭，并由摄像头同步 采集红外LED照射下的虹膜的图像；

2)结合LED光源标定方向参数，基于光度学3D重建原理，得到虹膜的3D重建模型；

3)因为虹膜区域近似为一个平面，得到的3D重建模型也近似为一个平面，得到平面 法向即表示视线方向；

4)对右眼同样进行上述操作，得到右眼的视线方向；

3、视线定位：根据左右眼的视线方向，结合2个摄像头的标定参数，就可以得到世 界坐标系下视线的焦点位置；

4、通过通信模块，将焦点位置发送到操作终端上实现互动操作。

下面再结合图1举例说明本发明实施例的用于视线焦点定位的可穿戴设备的几个主要 部分：

1、眼镜支架：用于安置摄像头、红外LED光源，以及信号处理单元等硬件设备；

2、红外LED光源：本例中左右眼镜框上分别安装至少四个红外LED光源，用于从不 同角度照射眼球及虹膜，红外线可以穿透角膜等眼球外部结构，可以获得更清晰的虹膜图 像，LED功率为人眼安全功率，波段可选择850nm，940nm等常用波段；

3、摄像头：左右眼镜框分别安装一个摄像头，装配有与LED波段对应的滤光片，用 于隔离环境光的干扰，获取清晰的虹膜图像；

4、信号处理单元，包括以下主要模块：

1)电源，用于系统供电，也可以采用外接电源式；

2)同步控制模块，用于控制每个LED的开关，LED发光的同时，同步触发摄像头拍 摄照片；

3)图像处理模块，用于处理所获取的虹膜图像，通过3D重建算法获取虹膜的3D模 型，并进行视线焦点的计算；

4)通信模块，用于将计算得到的视线焦点位置信息传输至所操作的终端。

下面再结合图1举例说明本发明实施例的用于视线焦点定位的可穿戴设备的详细工作 原理，如图2所示：

1、系统参数标定，主要包括：

1)2个摄像头的内外部参数标定，用以获取每个摄像头的焦距、中心点等内部参数， 以及两个摄像头间的旋转矩阵R和平移矩阵T，方法属于常用的立体视觉标定手段；

2)LED光源方向的标定：用于获取每个LED相对于其所在的摄像头的光源主方向向 量L，如对于左摄像头，可以获得四个LED的光源方向Ll1，Ll2，Ll3，Ll4，对于右摄像 头，可以获得四个LED的光源方向Lr1，Lr2，Lr3，Lr4；

2、虹膜图像拍摄：

1)由同步控制模块控制摄像头和四个LED灯的同步拍摄，如摄像头频率为60FPS， 则每秒钟可以完成15个周期的拍摄，进而得到15次虹膜的3D重建模型，从而实现虹膜 的动态3D重建过程；

2)左右眼镜框上的红外光源和摄像头同步进行工作，并将拍摄的图像传输到图像处 理模块；

3、虹膜的3D重建：

由于LED是从不同方向照射虹膜的，因此每个拍摄周期可以拍摄到四张不同亮度分布 的虹膜图像，结合每个LED的不同光源方向信息，采用光度学3D重建方法，就可以获得 虹膜的3D模型；

对于左右两部分同时进行拍摄，同时进行处理，互不干涉；

在图像处理模块采用DSP或者FPGA等高速计算模块进行实时的图像处理和3D重建；

4、对于获取的左右眼虹膜的3D模型，采用平面拟合策略，得到虹膜的3D平面(分 别相对于所在的摄像头的坐标系)，该平面的法向即表示瞳孔的指向：Iris_L1，Iris_L2；

5、视线焦点的定位：

由于在标定阶段，可以得到两个摄像头的旋转和平移参数R和T，则很容易将两个视 线方向统一到同一坐标系下，即{Iris_L1*R，Iris_L2}，求解两个向量的空间交点即为视线 的焦点位置。

6、交互操作：

随着操作者眼睛的转动，虹膜的3D空间平面位置也发生变化，视线方向和视线焦点 也发生变化，通过内置的通信模块将视线方向和焦点信息实时发送到被操控设备，即可实 现动态的视线焦点跟踪和交互操作功能。

由上述实施例可知，本发明实施例采用光度学3D重建原理，以穿戴式眼镜的形式， 用几个红外LED灯和摄像头组成了一个动态三维重建系统，实现了对虹膜的动态3D重建， 进而得到瞳孔所在平面的法向即视线方向。通过对2个摄像头的标定，实现了左右眼两个 视线方向的统一坐标系，完成视线焦点的动态计算。

具体实施时，LED光源可以选择4个或者更多，更多的光源数目可以提升三维重建的 精度；LED光源和相机的位置可以做出调整。

基于同一发明构思，本发明实施例中还提供了一种视线焦点定位方法，如下面的实施 例所述。由于该方法解决问题的原理与用于视线焦点定位的可穿戴设备相似，因此该方法 的实施可以参见用于视线焦点定位的可穿戴设备的实施，重复之处不再赘述。

图3为本发明实施例中视线焦点定位方法的示意图。如图3所示，本发明实施例中视 线焦点定位方法可以包括：

步骤301、获得多个红外光源分别从不同角度照射左右眼的虹膜图像；

步骤302、对获得的虹膜图像进行处理，建立左右眼虹膜的3D模型；

步骤303、根据左右眼虹膜的3D模型，定位左右眼视线焦点。

具体实施时，可以左右眼同时各有一个红外光源照射，同时获得左右眼被红外光源照 射的虹膜图像；同时处理获得的左右眼被红外光源照射的虹膜图像。

具体实施时，对获得的虹膜图像进行处理，建立左右眼虹膜的3D模型，可以包括：

结合虹膜图像对应红外光源的标定方向参数，基于光度学3D重建原理，对多个红外 光源分别从不同角度照射左右眼的虹膜图像进行处理，建立左右眼虹膜的3D模型；

根据左右眼虹膜的3D模型，定位左右眼视线焦点，包括：

对左右眼虹膜的3D模型进行平面拟合，获得左右眼虹膜的3D平面；

将左右眼虹膜的3D平面的法向分别确定为左右眼视线方向；

根据左右眼视线方向，确定世界坐标系下左右眼视线的焦点位置。

具体实施时，根据左右眼视线方向，确定世界坐标系下左右眼视线的焦点位置，可以 包括：

根据左右眼视线方向，结合拍摄左右眼虹膜图像的摄像头的标定参数，确定世界坐标 系下左右眼视线的焦点位置。

具体实施时，本发明实施例中视线焦点定位方法还可以包括：

将定位的左右眼视线焦点位置发送至被操控设备。

综上所述，本发明实施例的用于视线焦点定位的可穿戴设备及视线焦点定位方法，利 用多个红外光源分别从不同角度照射左右眼，获得多个红外光源分别从不同角度照射左右 眼的虹膜图像；对获得的虹膜图像进行处理，建立左右眼虹膜的3D模型；根据左右眼虹 膜的3D模型，定位左右眼视线焦点；由于建立左右眼虹膜的3D模型所基于的虹膜图像是 由多个红外光源分别从不同角度照射左右眼而获得的，因此相对于现有的3D追踪技术， 可用的3D特征比较多，能够获取眼球的较为详细的3D运动信息，因而能够实现高精度的 视线焦点定位。此外，本发明实施例的用于视线焦点定位的可穿戴设备还设计成眼镜的形 状，从而实现穿戴式操作，可以忽略头部运动的影响。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产 品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图 和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程 和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生 一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方 式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装 置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机 或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他 可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方 框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说 明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护 范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。