校准眼动仪的设备和方法及包括校准设备的眼睛控制装置

摘要

一种眼动仪(2)的校准方法，提供：限定要对用户显示的第一图像的至少一个第一吸引区域(A1；A2)；通过眼动仪(2)获取与正看向所述第一图像的用户的眼球运动有关的第一系列数据；根据从与所述眼球运动有关的所述第一系列数据确定的第一凝视，通过各个校准函数(fj)计算至少多个第一校准位置；根据各个所述第一校准位置和所述第一吸引区域(A1；A2)给每个校准函数(fj)分配第一分数；以及根据所述分数选择所述校准函数(fj)中的一个。

说明书

技术领域

本发明涉及一种校准眼动仪的设备和方法，并且涉及包括这样的校准设备的眼睛控制装置。

背景技术

用于追踪眼球运动的设备(一般称之为“眼动仪”)通常需要执行校准步骤。在校准过程中，实际上用户的一些具体眼睛参数被扣除以将给定的瞳孔位置关联至特定观察点。

在校准步骤中，用户通常被提示至少盯住屏幕的三个预定点数秒钟。通过假定用户在被要求时会真正地盯住所述的点而且瞳孔不会由于照明条件的改变而扩张来执行校准。

因此以上描述的校准程序需要用户的注目和配合。

而且，在大多数情况下，为了补偿环境的任何改变或者适应用户可能的眼睛疲劳，校准程序被间歇地执行。

因此，由于校准程序需要时间和合作，所以校准程序对用户而言是令人讨厌的且有压力的。

而且，对于向不同用户开放的应用，诸如游戏或者内容选择的交互界面、驾驶时的注意力控制应用等，这种校准程序是不能接受的。

感觉需要通过使校准几乎不易察觉来最小化用户所需做的努力。

例如文献US2011/0310006描述一种方案，其中通过在用户执行具体动作时的眼睛监控“掩饰”校准。假定在这些动作发生时眼睛指向设定的点(例如在按下按钮时假定眼球转向该按钮)。但是，这种方法仍然需要用户的合作，并且不总是有效的，尤其是因为用户执行动作时不真正地盯住目标点的情况经常发生。

发明内容

因此本发明的目的是提供一种消除这里强调的现有技术缺陷的方法，特别是，本发明的目的是提供一种校准方法，该方法不易被用户察觉并且同时保证精确和可靠的校准。

根据这些目的，本发明涉及权利要求1中主张的一种校准方法。

以这种方式，无需用户的任何配合来执行校准。实际上不用用户注意而执行校准。此外，通过选择在多个校准函数中评价为最好的校准函数来最优化校准。

进一步的目的是提供一种校准设备，其能够执行精确和可靠的校准，同时使用户不易察觉。

根据这些目的，本发明涉及在权利要求9中所主张的一种校准设备。

附图说明

本发明进一步的特性和优点将通过下面参考附图描述非限制性实施例而变得清楚，其中：

-图1是示意性地表示根据本发明的眼睛控制装置的框图；

-图2是示意性地表示根据本发明的校准设备的框图；

-图3是涉及根据本发明校准方法的一些步骤的流程图。

具体实施方式

在图1中根据本发明的眼睛控制装置由附图标记1表示。

在这里描述和示出的非限制性示例中，眼睛控制装置1用于选择由处理器运行并且在监视器上显示的软件的内容。

可以理解的是，眼睛控制装置意指接收与一个或多个用户的眼球运动相关的输入数据的任何装置。例如，眼睛控制装置可以配置成监控用户驾驶时的注目，或者操作和调整设备的移动，根据用户的视觉探索路径来移动用户的注目，或者监控诸如婴儿的不合作目标的眼睛。

眼睛控制装置1包括眼动仪2、校准设备3、处理器4和监视器5。

用于追踪眼球运动的设备2(这里和下文中以术语“眼动仪”表示)配置成记录被监控用户的眼睛的位置和方向。优选地，眼动仪2包括至少一个摄像头(未在附图中示出)和图像处理系统(在附图中不可见)，摄像头聚焦在用户的虹膜光圈的平面上，图像处理系统用于处理由此获取的图像。

图像处理系统提供与当前眼睛位置相对应的一系列坐标。特别是，图像处理系统为每个眼睛位置提供一对坐标，优选笛卡尔坐标。

优选地，眼动仪2配置成提供右眼的一系列实际坐标(x₁；y₁)_D，(x₂；y₂)_D……(x_n；y_n)_D(下文中简称为(x_i；y_i)_D)，和左眼的一系列实际坐标(x₁；y₁)_S，(x₂；y₂)_S……(x_n；y_n)_S(下文中简称为(x_i；y_i)_S)。

右眼的系列坐标(x_i；y_i)_D限定了用户的右眼做出的扫视途径，左眼的系列坐标(x_i；y_i)_s限定了用户的左眼做出的扫视途径，

校准设备3配置成确定至少一个最佳校准函数以提供给处理器4，如下面我们将更详细地看到的，处理器4根据记录的最佳校准函数修正与当前眼睛位置相对应的系列坐标，并且控制内容选择软件。

在这里描述和示出的非限制性示例中，校准设备3配置成确定至少一个右眼的最佳校准函数f_D和左眼的最佳校准函数f_S以提供给处理器4。

参考图2，校准设备3包括选择模块10、计算模块11和评价模块12。

选择模块10配置成确定与用户的眼睛凝视有关的坐标，并且限定在监视器5上显示并且引起用户注目的当前图像的至少一个第一吸引区域A1。

一般地，实际上在观察一些目标时用户的眼睛会停留一段时间。因此，凝视是指被观察了给定的时间段的点。但是，即使在停下来观察目标时，用户的凝视也从不静止在一个精确的点上，而是在被观察的目标附近移动。于是，每次凝视的坐标被如下地形成：起始于在给定的区域并且在给定的时间间隙期间内具有高观察密度的观察评分的坐标。

优选地，校准设备3配置成通过在给定的一段时间期间，对特定的观察区域中所选择的观察评分的坐标进行简单平均，来确定每次凝视的坐标。

多个可替代的方案通过计算重心，或者加权平均数的计算，或者其他类型的计算来确定每次凝视的坐标。

在这里描述和示出的非限制性示例中，选择模块10配置成用于确定与右眼凝视相关的一系列坐标(x_i；y_i)_DF和与左眼凝视相关的一系列坐标(xi；yi)_SF。

选择模块10还配置成记录和确定针对监视到的用户眼睛移动的附加指标。例如，这里描述和示出的选择模块10适于确定每次凝视的持续时间、凝视的空间密度、感兴趣区域的凝视次数、在具体区域中凝视持续时间的总和(“凝视”)、在第一次凝视之前的时间流逝和与扫视移动相关的参数。

如已经提到的，选择模块10配置成限定至少一个在监视器5上显示并且引起用户注目的当前图像的至少一个第一吸引区域A1。在这里描述和示出的非限制性示例中，预先执行对于由监视器显示的每个当前图像的吸引区域的识别，并且存储在选择模块10中。优选地，基于实验测试来进行预先的识别。

详细地，选择模块10配置成识别在监视器5上显示的当前图像的第一吸引区域A1和第二吸引区域A2。

可替代的方案提供了起始于当前显示的图像的实时地执行吸引区域的识别，其通过统计计算来识别最可能吸引用户的注目的区域。

在图3中示出块15，块15概括了由选择模块10实施的活动。

参考图2，将由选择模块10识别的与右眼凝视相关的系列坐标(x_i；y_i)_DF和与左眼凝视相关的系列坐标(xi；yi)_SF发送到计算模块11。

计算模块11配置成通过各个校准函数f₁、f₂…f_n(下文中简称为fj)计算右眼凝视(x_i；y_i)_DF(图3的块16)和/或左眼凝视(x_i；y_i)_SF(图3的块17)的多个校准位置。

因此，对于右眼的每次凝视(x_i；y_i)_DF做出下面的计算：

P_jD＝(x；y)_jD＝f_j((x_i；y_i)_DF)

对于左眼的每次凝视(x_i；y_i)_SF做出下面的计算：

P_jS＝(x；y)_jS＝f_j((x_i；y_i)_SF)

在这里描述和示出的非限制性示例中，右眼凝视P_jD和左眼凝视P_js的多个校准位置的坐标以这种方式分别计算：

P_jD＝(x；y)_jD＝(f_j(x_i)；f_j(y_i))_DF

P_jS＝(x；y)_jS＝(f_j(x_i)；f_j(y_i))_SF

在这里描述和示出的非限制性示例中，校准函数f_j接近1000。使用的校准函数f_j的数量基本上取决于所期望的精度、眼睛控制装置1的应用类型(例如，在用于交互游戏的眼睛控制装置1中所需的校准精度低于用于语音通信的眼睛控制装置所需的精度)和校准设备3本身的计算能力。

优选地，校准函数f_j是一次函数。可替代的方案提供的校准函数f_j包括具有比一次函数高的次的函数。在这里描述和示出的非限制实施例中，函数f_j是通过实验测试获得的函数并且存储在计算模块11中。

将多个校准位置P_jD和P_jS发送到评价模块12，评价模块12配置成在采用的多个校准函数f_j中确定右眼的最佳校准函数f_D和左眼的最佳校准函数f_S，提供给处理器4。

在这里描述和示出的非限制性示例中，评价模块12配置成：

-关于当前图像的吸引区域A1，根据右眼凝视(图3中的块20)和左眼凝视(图3中的块22)的多个校准位置中的各个校准位置P_jD和P_jS给每个校准函数f_j分配分数；

-存储分配给吸引区域A1的分数；

-关于当前图像的吸引区域A2，根据右眼凝视(图3中的块21)和左眼凝视(图3中的块23)的多个校准位置中的各个校准位置P_jD和P_jS给每个校准函数f_j分配分数；

-存储分配给吸引区域A2的分数；

-合并给予右眼的每个校准函数的分数(图3的块24)，并且合并给予左眼的每个校准函数f_j的分数(图3的块25)；

-选择具有最高最终分数的右眼的最佳校准函数f_D(图3的块26)，和具有最高最终分数的左眼的最佳校准函数f_s(图3的块27)。

在这里描述和示出的非限制性示例中，根据和具体校准函数f_j有关的校准点P_jD和P_jS与各个吸引区域A1和A2之间的距离执行分数的分配。校准点P_jD和P_jS离各个吸引区域A1和A2越远，分数越低。

优选通过分数的加权来执行分数的合并。分配给每个分数的权重取决于各个吸引区域的吸引能力。分配给每个吸引区域的权重是预先确定的。

校准设备3是持续活跃的并且分配给每个校准函数f_j的分数被存储，使得后续的校准考虑之前的校准获得的分数。

例如，如果进一步的分数分配给与进一步的吸引区域有关的每个校准函数f_j，该进一步的吸引区域与吸引区域A1和A2不同，所述进一步的分数会被增加到之前关于吸引区域A1和A2分配的分数中。因此，如果第二图像引起用户的注意，校准设备3会再次进行给关于第二图像的吸引区域的每个新校准函数f_j分配分数，并且将这些新分数增加到之前分配的分数中。以这种方式，以迭代方式持续地计算右眼和左眼的最佳校准函数f_D和f_S。这允许校准设备3适应用户、环境条件等任何的变化。

未示出的可替代方案提供选择模块识别单个吸引区域和多个凝视，以及对于每次凝视，评价模块12为校准函数f_j分配分数，该分数是仅与记录的吸引区域有关而被计算的分数。

由校准设备3持续地计算的右眼的最佳校准函数f_D和左眼的最佳校准函数f_S被提供给处理器4。处理器4通过使用校正函数f_D和f_S校正眼动仪2记录的右眼系列坐标(x_i；y_i)_D和左眼系列坐标(x_i；y_i)S。一旦获得了右眼系列坐标(x_i；y_i)_D和左眼系列坐标(x_i；y_i)_S的校正值，优选地，处理器4计算右眼的校正坐标与相应的左眼的校正坐标之间的平均值。该平均值将用做选择软件内容的命令。

处理器还配置成记录右眼与左眼之间的任何异常，例如，因为斜视而确定的异常。在这种情况下，处理器4不计算右眼校正坐标和左眼校正坐标的平均值，而是仅将主视眼的校正坐标作为选择软件内容的命令。

在这里描述和示出的非限制性示例中，校正设备3与处理器4分离。未示出的可替代方案是校准设备3集成到处理器4或者处理器4集成到校准设备3。

进一步的可替代方案是校准设备3和处理器4集成到眼动仪2。

有利地，校准设备3可以用于执行任何类型的眼动仪2的校准。

另外，校准设备3适于执行持续的校准而不受环境变化、用户的突然改变或者任何眼睛疲劳的影响。以这种方式眼睛控制装置可以由多个用户依次使用。实际上校准持续地适用于用户的当前条件。所述方案对于游戏交互和内容选择尤其有利。归功于根据本发明的校准设备，实际上用户不需要合作。

归功于持续地计算和评价最佳校准函数的事实，根据本发明的校准设备3实际上能够适应任何条件。

随着分配给校准函数的分数累积，排名会更新并且示出最好的校准函数。所述校准方法结果是稳健的并且能够适用任何情形。而且，由于最佳校准函数几乎是立即出现，所以根据本发明的校准方法非常快速；并且由于不需要所记录的最佳校准函数的任何验证，所以根据本发明的校准方法是完全自主的。

最后，显然所述的眼睛控制装置、方法和校准设备可以在不偏离所附权利要求的范围时被修改和变型。