人眼视线追踪方法

摘要

本发明实施例提供一种人眼视线追踪方法，方法包括：获取目标人眼位于当前位置下多个预设视线位置的人眼特征样本；根据当前位置下各预设视线位置的人眼特征样本和预先获取的目标人眼位于参考位置下分别注视屏幕上的多个预设视线位置的人眼特征，获取当前位置下各预设视线位置的人眼特征样本与参考位置下的人眼特征之间的函数关系；获取目标人眼位于当前位置下注视屏幕上未知视线位置的目标人眼特征，根据函数关系获取目标人眼特征对应的参考位置下的人眼特征，根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置。本发明实施例实现实时追踪，且追踪精度高。

说明书

技术领域

本发明属于人机交互技术领域，尤其涉及一种人眼视线追踪方法及装置。

背景技术

人眼追踪技术可以提供一种直观、易用的人机交互方式，广泛应用在设备验证、游戏交互中。例如，用户通过控制视线的移动轨迹解锁设备，根据视线的方向进行游戏的辅助操作等。

对于人眼追踪技术而言，最重要的是能够实时、精确地定位视线的位置。传统的人眼追踪技术使用红外光源配合摄像头定位视线，红外线经眼球表面反射至摄像头，会改变眼球的成像，人眼的瞳孔会变成白色，同时红外线在眼球表面的反射点也会变为白色。利用这种变化，可以较为精确地定位出瞳孔和反射点的位置。当仅有眼球转动时，因为眼球可以看作球体，所以反射点的位置不变，而瞳孔的位置会发生改变。通过比较瞳孔和反射点的相对位置变化，可以计算出视线的移动位置。但是，这种技术依赖于红外设备，会增加设备成本，并且追踪精度受头部移动的影响较大，不适合集成在移动设备上。

此外，已有的基于摄像头的人眼追踪技术可以分为两类，第一类使用机器学习的方法，从眼球图像中提取图像特征，通过训练模型，将其映射为视线的位置；第二类利用图像识别方法，从图像中识别出眼球的几何结构，进而分析得到视线位置。第一类方法的缺陷是需要大量的训练数据，而且需要大量的计算，无法保证追踪的实时性；第二类方法受到图像识别精度的制约，追踪的精度较差。

发明内容

为克服上述现有的人眼视线追踪方法需要红外设备，不能保证实时性且精度较差的问题或者至少部分地解决上述问题，本发明实施例提供一种人眼视线追踪方法及装置。

根据本发明实施例的第一方面，提供一种人眼视线追踪方法，包括：

获取目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本；

根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于预设参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征，获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系；

获取目标人眼位于所述当前位置下注视所述屏幕上未知视线位置的目标人眼特征，根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征，根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置。

根据本发明实施例的第二个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的人眼视线追踪方法。

根据本发明实施例的第三个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的人眼视线追踪方法。

本发明实施例提供一种人眼视线追踪方法及装置，该方法通过根据参考位置下人眼特征与预设视线位置的映射关系，获取当前位置下各预设视线位置的人眼特征样本与参考位置下人眼特征之间的转换函数，在进行人眼视线追踪时使用转换函数将追踪时的人眼特征转换为参考位置下的人眼特征，然后利用该人眼特征与预设视线位置之间的映射关系追踪到设备使用者的视线位置，实现对人眼视线的实时追踪，且精度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人眼视线追踪方法整体流程示意图；

图2为本发明又一实施例提供的人眼视线追踪方法流程示意图；

图3为本发明实施例提供的电子设备整体结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在本发明的一个实施例中提供一种人眼视线追踪方法，图1为本发明实施例提供的人眼视线追踪方法整体流程示意图，该方法包括：S101，获取目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本；

其中，设备可以为移动设备，如手机，本实施例不限于设备的种类。可以使用该设备的前置摄像头获取人眼特征样本，也可以通过其他摄像头获取。前置摄像头位于设备的正面，用于自拍。目标人眼为需要对其视线进行追踪的人眼，也为使用该设备的用户的人眼。当前位置为目标人眼此时此刻的位置。目标人眼的预设视线位置为目标人眼注视设备屏幕上的位置，且该位置预先设定。可以采取多种方式让目标人眼注视预先视线位置，如让使用设备的用户点击屏幕上的指定位置，这是因为用户在点击任一指定位置时目标人眼注视着该指定位置，但本实施例不限于这种方式。将目标人眼位于当前位置下注视每个预设视线位置获取的相应目标人眼的特征作为目标人眼位于当前位置的人眼特征样本。基于前置摄像头获取目标人眼的人眼特征样本是指通过前置摄像头采集目标人眼位于当前位置下注视各预设视线位置的图像，从各预设视线位置的图像中提取出人眼特征，获取人眼特征样本。

S102，根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征，获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系；

参考位置为当前时刻之前目标人眼某一时刻的位置，该位置为预先设定的。目标人眼位于参考位置下的预设视线位置比位于当前位置下的预设视线位置数量更多，可以包含全部或部分当前位置下的预设视线位置，也可以不包含，两者的获取方法可以相同，也可以不同。根据当前位置下各预设视线位置的人眼特征样本和参考位置下各预设视线位置的人眼特征，获取两个位置的人眼特征之间的函数关系，本实施例不限于获取函数关系的方法，也不限定函数关系的种类。两个位置的人眼特征之间的函数关系具体为当前位置下每个预设视线位置的人眼特征样本与参考位置下所有预设视线位置的人眼特征之间的函数关系。

本实施例建立当前位置下的人眼特征和参考位置下的人眼特征之间的转换函数。该转换函数可以通过如下过程建立，首先收集少量当前位置下的人眼特征样本及其对应的预设视线位置，这个过程称为校准，收集到的数据称为校准数据。假设收集到的人眼特征样本为E’＝{E’₁,E’₂,…,E’_c}，其对应的预设视线位置为G’＝{G’₁,G’₂,…,G’_c}，c为当前位置下的预设视线位置的个数。然后，对于每一个预设视线位置G’_j，计算该预设视线位置对应的参考位置下的人眼特征。

S103，获取目标人眼位于所述当前位置下注视所述屏幕上未知视线位置的目标人眼特征，根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征，根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置。

目标人眼特征为对目标人眼进行视线追踪时获取的目标人眼的特征。将目标人眼特征输入到函数关系中进行计算，获取目标人眼特征对应的参考位置下的人眼特征。根据该参考位置下的人眼特征追踪目标人眼当前的视线位置。

本实施例通过根据参考位置下人眼特征与预设视线位置的映射关系，获取当前位置下各预设视线位置的人眼特征样本与参考位置下人眼特征之间的转换函数，在进行人眼视线追踪时使用转换函数将追踪时的人眼特征转换为参考位置下的人眼特征，然后利用该人眼特征与预设视线位置之间的映射关系追踪到设备使用者的视线位置，实现对人眼视线的实时追踪，且精度高。

在上述实施例的基础上，本实施例中获取目标人眼位于当前位置下分别注视设备的屏幕上的多个预设视线位置的人眼特征样本的步骤之前还包括：在所述屏幕上显示一个亮斑，并提示设备的用户始终注视所述亮斑；将所述亮斑移动到所述屏幕上的多个预设位置，当所述亮斑移动到任一所述预设位置时，获取目标人眼位于所述参考位置下注视该亮斑的人眼图像；从该预设位置的人眼图像中提取出该预设位置的人眼特征，并将该预设位置作为预设该位置的人眼特征对应的预设视线位置。

具体地，本实施例建立参考位置下目标人眼的人眼特征和预设视线位置之间的映射关系。该映射关系可以通过以下过程建立，首先在设备的屏幕上显示一个亮斑，并提醒用户始终注视该亮斑。该亮斑以预设的蛇形轨迹从屏幕的左上角移动到屏幕的右下角，在光斑移动的过程中，用户需要始终注视该亮斑。在这个过程中，系统开启设备的前置摄像头，捕捉用户注视每个亮斑的眼部图片并提取出人眼特征，然后记录下该人眼特征以及与其相对应的亮斑位置。在亮斑的移动过程中，用户相对设备的位置需要保持稳定，这个位置被称为参考位置。由于用户始终注视亮斑，因此亮斑的位置就是用户的视线位置。设第i个视线位置为G_i，其对应的人眼特征E_i，那么收集到的人眼特征数据及其对应的视线位置数据可以分别表示为{E₁,E₂,…,E_n}和{G₁,G₂,…,G_n}，其中n是参考位置下预设视线位置的个数。

在上述实施例的基础上，本实施例中获取目标人眼位于当前位置下分别注视设备的屏幕上的多个预设视线位置的人眼特征样本的步骤具体包括：在所述屏幕上预设多个视线位置，对于任一预设视线位置，当获取到点击该预设视线位置的操作时，获取所述目标人眼位于当前位置下注视该预设视线位置的人眼图像；从该预设视线位置的人眼图像中提取出该预设视线位置的人眼特征样本。

具体地，在屏幕上预设多个视线位置，提醒用户对各预设视线位置进行点击。当获取到用户点击某一预设视线位置的操作时，说明用户此时注视该预设视线位置，使用前置摄像头拍摄目标人眼的图像，从该图像中提取出人眼特征，从而获取该预设视线位置对应的人眼特征样本。

在上述实施例的基础上，本实施例中根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征，获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系的步骤具体包括：对于所述当前位置下的任一所述预设视线位置，从所述参考位置下的所有预设视线位置中选择距离该预设视线位置最近的第一预设个数的预设视线位置；根据选择出的所有所述预设视线位置对应的参考位置下的人眼特征，获取该预设视线位置对应的参考位置下的综合人眼特征；获取该预设视线位置的人眼特征样本与所述综合人眼特征之间的函数关系。

具体地，对于当前位置下的任一个预设视线位置G’_j，在预先收集到的参考位置下的预设视线位置数据{G₁,G₂,…,G_n}中找到距离其最近的k₁个点以及中各预设视线位置所对应的参考位置下的人眼特征对于视线位置G’_j，其对应的当前位置下的人眼特征样本为E’_j，其对应的参考位置下的综合人眼特征通过和获取。综合人眼特征为选择出的k₁个参考位置下的人眼特征综合在一起的特征，本实施例不限于综合的方式。k₁为第一预设个数。

在上述实施例的基础上，本实施例中通过以下公式根据选择出的所有所述预设视线位置对应的参考位置下的人眼特征，获取该预设视线位置对应的参考位置下的综合人眼特征：

其中，k₁为所述第一预设个数，为选择出的第m个所述预设视线位置对应的参考位置下的人眼特征，G′_j为该预设视线位置，为选择出的第m个所述预设视线位置，为预设视线位置对应的参考位置下的综合人眼特征，||·||运算符表示计算两个向量之间的距离，该距离可以为曼哈顿距离，但本实施不局限于这种距离。

在上述实施例的基础上，本实施例中获取该预设视线位置的人眼特征样本与所述综合人眼特征之间的函数关系的步骤具体包括：

通过以下目标函数获取S和T的值：

其中，为所述综合人眼特征，E′_i为该预设视线位置的人眼特征样本，S为矩阵，T为与维度相同的向量。

具体地，本实施例中设当前位置下该预设视线位置的人眼特征和参考位置下的综合人眼特征之间有线性关系，上式线性方程中S和T为待定参数，通过求解S和T可以获取到当前位置下该预设视线位置的人眼特征和参考位置下的综合人眼特征之间的转换函数。S和T的值可以通过求函数的最优解得到，目标函数如上式。

在上述实施例的基础上，本实施例中根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征的步骤具体包括：根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的综合人眼特征；相应地，根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置的步骤具体包括：从所述参考位置下的所有人眼特征中选择与所述目标人眼特征最相似的第二预设个数的人眼特征；根据选择出的人眼特征和所述目标人眼特征对应的所述参考位置下的综合人眼特征，获取所述未知视线位置。

具体地，在对目标人眼进行视线追踪时，使用前置摄像头捕捉用户的眼部图像，并提取出当前位置下的目标人眼特征e，然后根据转换函数计算出目标人眼特征对应的参考位置下的综合人眼特征在预先收集到的参考位置下的人眼特征数据中找到与最相似的k₂个特征和其对应的预设视线位置k₂为第二预设个数。根据和计算目标人眼特征对应的未知视线位置

在上述实施例的基础上，本实施例通过以下公式根据选择出的人眼特征和所述目标人眼特征对应的所述参考位置下的综合人眼特征，获取所述未知视线位置：

其中，为所述目标人眼特征对应的所述参考位置下的综合人眼特征，k₂为所述第二预设个数，选择出的第m个所述人眼特征对应的参考位置下的预设视线位置，选择出的第m个所述人眼特征，为所述未知视线位置，||·||运算符表示计算两个向量之间的距离，该距离可以为曼哈顿距离，但本实施不局限于这种距离。

如图2所示，本实施例包括三个部分，即建立映射关系、建立转换函数和计算未知视线位置。建立映射关系包括建立目标人眼位于参考位置下注视设备屏幕上各预设视线位置的人眼特征与相应的预设视线位置之间的映射关系，将两者之间的关系作为映射数据。建立映射关系包括将目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本作为校准数据，根据校准数据计算当前位置下各预设视线位置的人眼特征与所述参考位置下的人眼特征之间的转换函数。在计算转换函数时需要根据目标函数确定转换函数的参数。其中当前位置下的预设实现位置可以根据屏幕点击位置确定。计算未知视线位置包括从当前位置下的面部图像中提取当前位置下的人眼特征，提取的当前位置下的人眼特征一部分用于计算转换函数参数，还有一部分作为转换函数的输入，获取其对应的参考位置下的人眼特征，将参考位置下的人眼特征作为映射函数的输入获取未知视线位置。

本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，

处理器301和存储器302通过总线303完成相互间的通信；

存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：获取目标人眼位于当前位置下多个预设视线位置的人眼特征样本；根据当前位置下各预设视线位置的人眼特征样本和基于前置摄像头预先获取的目标人眼位于参考位置下分别注视屏幕上的多个预设视线位置的人眼特征，获取当前位置下各预设视线位置的人眼特征样本与参考位置下的人眼特征之间的函数关系；基于前置摄像头获取目标人眼位于当前位置下注视屏幕未知视线位置的目标人眼特征，根据函数关系获取目标人眼特征对应的参考位置下的人眼特征，根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取目标人眼位于当前位置下多个预设视线位置的人眼特征样本；根据当前位置下各预设视线位置的人眼特征样本和基于前置摄像头预先获取的目标人眼位于参考位置下分别注视屏幕上的多个预设视线位置的人眼特征，获取当前位置下各预设视线位置的人眼特征样本与参考位置下的人眼特征之间的函数关系；基于前置摄像头获取目标人眼位于当前位置下注视屏幕未知视线位置的目标人眼特征，根据函数关系获取目标人眼特征对应的参考位置下的人眼特征，根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。