基于单光源的注视点估计方法、系统、处理器及设备

摘要

本发明公开了一种基于单光源的注视点估计方法及系统，应用于具有单相机和单光源的设备，通过对采集到的人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息，然后估计获得与实际光斑对应的虚拟光斑，利用虚拟光斑中心的参数信息、瞳孔中心和实际光斑中心对应的参数信息，能够计算获得角膜反射向量，最后利用预设回归模型，获得注视点的估计信息。在本发明中能够基于单相机、单光源模拟获得与实际光斑对应的虚拟光斑，实现了利用一个光源模拟两个光斑的计算注视点的估计信息，使得满足了体积小且具有单个光源的眼控设备进行注视点估计的需求。

说明书

技术领域

本发明涉及眼球追踪技术领域，特别是涉及一种基于单光源的注视点估计方法、系统、处理器及设备。

背景技术

眼控技术，也称为视线估计技术，可以对人眼的视线进行追踪和检测，以使得人眼视线能够用于实现一些应用功能。其中，人眼的视线既可以是人眼的注视方向，也可以是人眼的注视点。

在工程上，仅仅有人眼图像还不能够进行人眼注视点估计，还需要参考信息辅助判断眼球朝向。这个参考信息就是角膜上的光斑，角膜可以近似认为是个球形镜面，当有点光源照射时，相机可以捕捉到角膜上的光源反射光线，从而捕捉到光斑。这种借助光斑的注视点估计法叫角膜反射法。

而在角膜反射法中，若使用离轴光源的回归方法会由于光斑的不对称，会产生明显的平均误差，因此常采用两个光源产生两个光斑，使用两个光斑的中心和瞳孔中心定义瞳孔-角膜反射向量来进行注视点估计，来消除这种误差。但是在一些体积较小的设备上，实现注视点的跟踪，如果两个光源放的太近，图像中的光斑可能会相互邻接，造成光斑特征提取错误，因此现有的通过角膜反射法进行注视点估计的方法无法满足现有体积小的眼控设备的需求。

发明内容

针对于上述问题，本发明提供一种基于单光源的注视点估计方法、系统、处理器及设备，满足了体积小且具有单个光源的眼控设备进行注视点估计的需求。

为了实现上述目的，本发明提供了如下技术方案：

一种注视点估计方法，该方法应用于具有单相机和单光源的设备，包括：

采集人眼图像；

对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息；

基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息；

根据所述瞳孔中心、所述实际光斑中心对应的参数信息和所述虚拟光斑中心的参数信息进行计算，获得角膜反射向量；

将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息。

可选地，所述采集人眼图像，包括：

采集具有人眼特征信息的初始图像；

对所述初始图像进行图像处理，获得人眼图像。

可选地，所述对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息，包括：

对所述人眼图像进行特征提取，获得所述人眼图像对应的二维特征信息；

在所述二维特征信息中进行信息提取，获得瞳孔中心参数信息和实际光斑中心参数信息。

可选地，所述基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息，包括：

通过两瞳孔距离、实瞳孔中心的位置信息和实际光斑中心对应的坐标信息，获得虚拟光斑；

获得所述虚拟光斑的虚拟光斑中心的参数信息。

可选地，所述将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息，包括：

根据距离参数确定归一化因子，所述归一化因子表征距离参数的函数，所述距离参数包括所述两瞳孔距离、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离中的一种；

将所述角膜反射向量和所述归一化因子输入至预设回归模型，获得注视点的估计信息。

一种注视点估计系统，该系统应用于具有单相机和单光源的设备，包括：

采集单元，用于采集人眼图像；

提取单元，用于对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息；

估计单元，用于基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息；

计算单元，用于根据所述瞳孔中心、所述实际光斑中心对应的参数信息和所述虚拟光斑中心的参数信息进行计算，获得角膜反射向量；

获取单元，用于将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息。

可选地，所述采集单元包括：

图像采集子单元，用于采集具有人眼特征信息的初始图像；

图像处理子单元，用于对所述初始图像进行图像处理，获得人眼图像。

可选地，所述提取单元用于包括：

第一提取子单元，用于对所述人眼图像进行特征提取，获得所述人眼图像对应的二维特征信息；

第二提取子单元，用于在所述二维特征信息中进行信息提取，获得瞳孔中心参数信息和实际光斑中心参数信息。

可选地，所述估计单元包括：

估计子单元，用于通过两瞳孔距离、实际瞳孔中心的位置信息和实际光斑中心对应的坐标信息，估计获得虚拟光斑；

获取子单元，用于获得所述虚拟光斑的虚拟光斑中心的参数信息。

可选地，所述获取单元包括：

确定子单元，用于根据距离参数确定归一化因子，所述归一化因子表征距离参数的函数，所述距离参数包括所述两瞳孔距离、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离中的一种；

输入子单元，用于将所述角膜反射向量和所述归一化因子输入至预设回归模型，获得注视点的估计信息。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行如上述所述的注视点估计方法。

一种设备，所述设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时至少实现：

采集人眼图像；

对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息；

基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息；

根据所述瞳孔中心、所述实际光斑中心对应的参数信息和所述虚拟光斑中心的参数信息进行计算，获得角膜反射向量；

将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息。

相较于现有技术，本发明提供了一种基于单光源的注视点估计方法、系统处理器及设备，应用于具有单相机和单光源的设备，通过对采集到的人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息，然后估计获得与实际光斑对应的虚拟光斑，利用虚拟光斑中心的参数信息、瞳孔中心和实际光斑中心对应的参数信息，能够计算获得角膜反射向量，最后利用预设回归模型，获得注视点的估计信息。在本发明中能够基于单相机、单光源模拟获得与实际光斑对应的虚拟光斑，实现了利用一个光源模拟两个光斑的计算注视点的估计信息，使得满足了体积小且具有单个光源的眼控设备进行注视点估计的需求。

名词解释：

PCR(Pupil Corneal Reflection)即瞳孔-角膜反射法，是光学记录法的一种。

方法步骤为：

首先获取带有光斑(也称为普尔钦斑)的眼部图像，获取光源在角膜上的反射点即光斑；随着眼球转动，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。

IPD(Inter Pupillary Distance)即两眼(左眼和右眼)瞳孔的间距。

IGD(Inter Glint Distance)即眼部图像中两个光斑之间的距离。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一提供的一种基于单光源的注视点估计方法的流程示意图；

图2为本发明实施例二提供的一种虚拟光斑中心的参数信息估计方法的流程示意图；

图3为本发明实施例二中提供的一种眼睛与相机之间的对应关系示意图；

图4为本发明实施例三提供的一种注视点的估计信息计算方法的流程示意图；

图5为本发明实施例四提供的一种基于单光源的注视点估计系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

实施例一

在本发明实施例一中提供了一种基于单光源的注视点估计方法，可应用于眼球追踪领域，眼球追踪也可以称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术，眼球追踪技术需要用到专用设备，如眼动仪。

其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。目前广泛应用的是光学记录法，用照相机或摄像机记录被试者的眼睛运动情况，即获得反映眼睛运动的眼部图像，依据获取到的眼部图像提取眼部特征用于建立视线/注视点估计的模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜形状、虹膜位置、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。

眼动跟踪方法大体上可分为干扰式和非干扰式两种类型。目前视线跟踪系统中，大多采用非干扰式的眼动追踪方法，尤其以瞳孔角膜反射法应用最为广泛。其根据人眼的生理特性及视觉成像原理，利用图像处理技术对采集到的眼图进行处理，获得用于视线估计的人眼特征参数。以得到的人眼特征参数为基准点，采用相应的映射模型即可得到视线落点坐标，以实现视线的跟踪。这种方法精度较高，对用户无干扰，允许用户头部自由转动。其使用的硬件设备包括光源和图像采集设备，其中，光源一般为红外光源，因为红外光线不会影响眼睛的视觉，并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；图像采集设备可以为红外摄像设备、红外图像传感器、照相机或摄像机等。在角膜反射方法中，由于要克服不对称光斑带来了误差，通常会采用一个相机和两个光源，来实现具有自由头部运动的注视点估计。而在本发明实施例中提供的注视点估计方法，与现有技术不同其应用于具有单相机和单元源的设备。参见图1，该方法可以包括以下步骤：

S101、采集人眼图像。

利用设备中的单光源对场景进行照明，在本申请实施例中的光源是一个或一组光源，并利用设备中的相机采集图像，该图像时包括人眼特征信息的图像，例如，人眼图像、人脸图像等。其中，人眼特征信息可以包括：瞳孔位置、瞳孔形状、虹膜形状、虹膜位置、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。

S102、对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息。

由于利用角膜反射技术来进行注视点估计，所以在获得了人眼图像之后，需要进行特征提取，以获得人眼图像中的瞳孔中心和实际光斑中心对应的参数信息，由于采用的是单光源照射，在每个眼睛中的实际光斑只有一个。对应的，参数信息可以是表征瞳孔中心和实际光斑中心的二维坐标信息，也可以是相对位置信息。

在获得了人眼图像之后，需要进行特征提取，即提取人眼特征参数，该人眼特征参数包括但不局限于瞳孔中心点坐标及实际光斑中心坐标。例如，可以将采集到的人眼图像，根据瞳孔或者其他器官的灰度、结构、形状、面积等特性获取大致眼睛区域，并结合灰度积分法求出眼睛区域交集，获取人眼图像区域；对人眼图像区域进行二值化，根据瞳孔区域灰度特性获得瞳孔图像区域；最后求出红外光源在人眼角膜上形成的光斑区域并利用质心法求出其中心坐标位置，同时采用canny边缘检测算法检测瞳孔边缘，采用椭圆拟合算法检测出瞳孔中心坐标。由于上述算法均为现有技术的方法，在本申请实施例中不做赘述。

S103、基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息。

在获得了瞳孔中心和实际光斑中心对应的参数信息后，可以依据先验知识估计获得一个虚拟光斑，然后获得该虚拟光斑中心的参数信息。需要说明的是，该先验知识，可以是依据实际光斑中心参数和瞳孔中心参数进行训练获得的虚拟光斑模型，即通过大量的包括实际光斑中心参数和瞳孔中心参数，和对应的虚拟光斑参数对初始的模型进行训练，然后获得虚拟光斑模型。

其中，获取虚拟光斑中心的参数信息要根据虚拟光斑得到，该虚拟光斑是根据两瞳孔距离、实际瞳孔中心的位置信息和实际光斑中心对应的坐标信息获得的。在本申请的一种可能的实现方式中可以通过虚拟光斑模型获得虚拟光斑。

该虚拟光斑模型是通过大量的训练样本进行训练得到的，该训练样本为标记有实际光斑中心对应的坐标参数、两瞳孔距离、实际瞳孔位置以及虚拟光斑的位置信息的样本数据。可以通过机器学习的方式，对上述特征信息进行学习，得到虚拟光斑模型，从而使得该虚拟光斑模型能够根据输入的两瞳孔距离、实际瞳孔中心的位置信息和实际光斑中心对应的坐标信息信息，输出虚拟光斑对应的位置信息，即对应的虚拟光斑中心的参数信息。该模型创建过程中应用了人工智能领域的机器学习方式，本申请对此技术不做赘述。

S104、根据所述瞳孔中心、所述实际光斑中心对应的参数信息和所述虚拟光斑中心的参数信息进行计算，获得角膜反射向量。

在得到了虚拟光斑之后，相当于在本发明中利用单光源获得了两个光斑即一个实际光斑和一个虚拟光斑，使用两个光斑中心和瞳孔中心定义瞳孔角膜反射向量，用PCR(Pupil Corneal Reflection)向量表示，可以进行后续计算。其中，瞳孔角膜反射向量的计算可以利用光斑中心、瞳孔中心以及PCR向量的关系式进行计算获得，其是利用眼睛的几何结构和眼睛、光源、相机的位置关系，并经过大量实验验证得到的关系式。

S105、将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息。

对于使用角膜反射法估计注视点，仅仅使用PCR向量作为多项式法回归输入，易受头部垂直运动的影响。因此，在本申请实施例中通常使用经过归一化的PCR向量进行注视点估计，使得具有更强的鲁棒性。

对PCR向量的归一化处理在本申请后面的实施例中会进行详细说明，在此不做赘述。

本发明提供了一种基于单光源的注视点估计方法，应用于具有单相机和单光源的设备，通过对采集到的人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息，然后估计获得与实际光斑对应的虚拟光斑，利用虚拟光斑中心的参数信息、瞳孔中心和实际光斑中心对应的参数信息，能够计算获得角膜反射向量，最后利用预设回归模型，获得注视点的估计信息。在本发明中能够基于单相机、单光源模拟获得与实际光斑对应的虚拟光斑，实现了利用一个光源模拟两个光斑的计算注视点的估计信息，使得满足了体积小且具有单个光源的眼控设备进行注视点估计的需求。

实施例二

在该实施例二中将以具体的实施方式对上述各个步骤进行说明。

在视线追踪过程中，为了保证视线的准确估计，要求图像采集装置能够采集到包括人脸较大范围图像信息，这样会使得图像信息除了被追踪者的人脸部分外，还有可能会包括周围环境噪声区域等。为了缩小图像处理的范围，首先要进行采集图像的特征提取，即获得具有人眼特征信息的初始图像。当然也可以在采集时直接采集包括人眼特征信息的初始图像。后续步骤均需要以图像处理为基础，因此为了保证图像质量，需要对该初始图像进行相应的图像处理，例如可以包括图像增强、降噪等处理。以灰度图像为例，可以首先对图像进行二值化处理，然后通过投影处理提取出人眼区域，再利用降噪处理定位瞳孔区域等。

由于获得的人眼图像是一个平面图像，因此，可以对人眼图像进行特征提取，获得该人眼图像对应的二维特征信息，该二维特征信息是指建立该人眼图像的二维坐标，获得该图像中各个像素点的坐标，或者各个特征区域的坐标信息。

然后，定位获得瞳孔中心和实际光斑中心的二维坐标。在获得二维坐标之前首先要定位实际光斑和瞳孔区域。以单眼为例，通常在人眼图像中包括角膜反射的实际光斑区域、瞳孔区域及部分虹膜区域。与其他区域相比，实际光斑区域是灰度值最高的部分，面积较小，颜色较亮。并且由于是单光源，则会出现一个实际光斑。根据角膜反射光斑的这种特性，首先对瞳孔区域图像进行二值化处理，提取瞳孔区域亮点区域，可以根据亮点面积、形状去除瞳孔区域噪声亮点，获得实际光斑区域。然后，可以通过质心法求取实际光斑中心坐标。其中，质心是指把物体的指令集中在一个假设点上，从而忽略物体复杂的形状给研究带来的不便。通过质心法可以实现对质心的计算，该技术为常用技术，本申请实施例对此不做赘述。

为了准确计算获得瞳孔中心坐标，通常会进行瞳孔边缘检测，例如，采用边缘检测算法对瞳孔边缘进行检测，获得瞳孔边缘后，如可以采用椭圆拟合算法获取瞳孔中心坐标。

边缘检测时图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。例如，可以采用canny算子检测瞳孔边缘，该算法检测的连续性比较好，检测的边缘也较为准确。

椭圆拟合是图像处理中比较常见的算法，常用的拟合算法有Hough变换和最小二乘两种。当边缘图像中存在数量不确定的多个椭圆时，需要采用基于Hough变换的检测方法，但由于检测结果受限于参数空间的离散步长，因而精度较低。基于最小二乘的椭圆拟合算法可以精确的求得拟合结果，但需要在对图像边缘进行分组后使用。由于上述算法在求解相关特征参数为通用算法，本发明实施例对此不做赘述。

参见图2，其示出了本发明实施例二中提供的一种虚拟光斑中心的参数信息估计方法，在该方法中可以包括以下步骤：

S201、通过两瞳孔距离、实际瞳孔中心的位置信息和实际光斑中心对应的坐标信息，估计获得虚拟光斑；

S202、获得所述虚拟光斑的虚拟光斑中心的参数信息。

在该实施例中需要先构建一个虚拟光斑，即利用已有信息包括两瞳孔距离、实际瞳孔中心的位置信息和实时光斑中心对应的坐标信息。依据眼睛角膜的3D结构，其可以被建模为球形。利用眼睛的几何结构和眼睛、光源、相机的位置关系，并经过大量实验验证发现光源在眼睛中的成像离角膜中心的距离约为角膜半径的一半，经过几何推导，得到两瞳孔距离与两光斑距离之间存在比例关系，即

其中，IPD(Inter Pupillary Distance)表示两瞳孔距离，IGD(Inter GlintDistance)表示两光斑距离，k表示比例系数。

经过大量用户的统计，发现对于不同使用者，其中k趋于常数。具体的，请参见图3，其示出了眼睛与相机之间的对应关系，在图3中，O表示相机光心，l表示光源，m表示两眼瞳孔之间的距离，L表示光源到相机光心的垂直距离，IPD表示相机采集到的人眼图像中两瞳孔距离，即m的成像距离用IPD表示，对应的，r为角膜半径，经过大量实验验证发现光源在眼睛中的成像离角膜中心的距离约为角膜半径的一半，经过大量的先验经验进行验证，可以得到两瞳孔距离与两光斑距离之间存在比例关系还可以表示为：

可见，常数k的取值与两瞳孔的实际距离、角膜半径和光源到相机光心的垂直距离有关，具体的常数k的取值可以根据上述参数选取的实际值确定。并且经过对大量用户的统计，发现对于不同使用者，其中k趋于常数。

因此，可以通过上述计算式计算获得两光斑距离，由于其中一个光斑为实际光斑，可以获得其光斑中心坐标，在已知两光斑距离的条件下，可以估计获得虚拟光斑位置，从而获得该虚拟光斑中心的参数信息，即该虚拟光斑的中心坐标。

通过特征提取获得了瞳孔中心、光斑中心在图像坐标系中的位置，利用IPD和单光斑中心坐标估计虚拟光斑，利用实际光斑和虚拟光斑中心和瞳孔中心构建PCR向量，输入到多项式回归模型中估计2D的注视点。其中，PCR向量可以通过预设的归一化因子进行归一化处理后再输入至上述回归模型中，所述归一化因子表征距离参数的函数，所述距离参数包括所述两瞳孔距离、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离中的一种。

在本申请实施例中预设回归方程表示的是多项式回归模型，是实质是基于多项式拟合的视线估计算法来计算获得注视点的估计信息的。以二阶多项式为例，它通过多项式回归方程来确定视线特征参数和注视点的位置之间的映射关系。其中，多项式阶数根据系统需求而定，拟合阶数越高则算法越准确，但会使得系统较为复杂。

注视点坐标计算公式为：

其中，(X

需要说明的是，上述多项式回归方程只是本发明实施例中的一种计算方式，也可以采用基于神经网络的视线估计方法来获得注视点的相关信息。具体的，估计方式本发明实施例不做限制。

本实施例中所采用的系统为单相机，单光源系统，为了进行构建新的PCR向量进行注视点的估计，同时避免离轴光源造成的不对称影响。假设在硬件系统中存在一个虚拟光源与实际光源关于相机对称分布，在已知瞳孔距离的前提下，可以近似得到虚拟光源和实际光源在图像中的间距，因此通过图像中单光斑的位置坐标，可以估计虚拟光源造成光斑的位置，构建新的PCR向量用于估计注视点。

实施例三

对于使用角膜反射法估计注视点，仅仅使用PCR向量作为多项式法回归输入，易受头部垂直运动的影响，但是对于经过归一化的PCR向量进行估计注视点具有更强的鲁棒性，在现有技术中通常采用两个光斑之间的距离(IGD)或者两个光斑之间的距离的相关函数，来作为对PCR向量进行归一化处理时的归一化因子，但是对于单光源场景中，并不存在IGD，因此也无法通过IGD相关函数来进行PCR向量的归一化处理。因此在本发明实施例中是通过距离参数来确定归一化因子的，该归一化因子表征距离参数的函数，其中，距离参数包括所述两瞳孔距离、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离中的一种。

由于在本发明实施例中利用了两瞳孔距离这个参数得到了虚拟光斑，为了节省计算量，在本申请实施例中优选通过两瞳孔距离(IPD)、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离来确定归一化因子，即该归一化因子是使用上述距离参数的函数，如，以两瞳孔距离IPD为例，通常采用IPD

参见图4，在本发明实施例三中提供了一种注视点的估计信息计算方法，可以包括：

S301、根据距离参数确定归一化因子；

S302、将所述角膜反射向量和所述归一化因子输入至预设回归模型，获得注视点的估计信息。

在单相机、两光源系统中，常常以两光斑在图像中的距离IGD作为最优归一化因子对原始PCR向量归一化，有助于抵抗头部运动对注视点估计精度的影响。当一些设备中优先选用较少的光源时，如本发明所叙述的单相机单光源系统中，图像中不存在两个光斑，因此IGD并不存在。通过在单相机两光源系统中，瞳孔间距离与两光斑间距离IGD的比例关系，考虑使用瞳孔间距离的函数，如IPD

另外，将新的归一化因子用于单相机两光源系统中的PCR向量，也可以提高注视点预测精度对头部运动的抵抗作用，并且使注视点估计保持高精度。

实施例四

在本发明实施例四中提供了一种基于单光源的注视点估计系统，参见图5，该方法应用于具有单相机和单光源的设备，包括：

采集单元10，用于采集人眼图像；

提取单元20，用于对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息；

估计单元30，用于基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息；

计算单元40，用于根据所述瞳孔中心、所述实际光斑中心对应的参数信息和所述虚拟光斑中心的参数信息进行计算，获得角膜反射向量；

获取单元50，用于将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息。

本实施例提供了一种基于单光源的注视点估计系统，应用于具有单相机和单光源的设备，通过提取单元对采集单元采集到的人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息，然后在估计单元中估计获得与实际光斑对应的虚拟光斑，通过计算单元利用虚拟光斑中心的参数信息、瞳孔中心和实际光斑中心对应的参数信息，能够计算获得角膜反射向量，最后在获取单元中利用预设回归模型，获得注视点的估计信息。在本发明中能够基于单相机、单光源模拟获得与实际光斑对应的虚拟光斑，实现了利用一个光源模拟两个光斑的计算注视点的估计信息，使得满足了体积小且具有单个光源的眼控设备进行注视点估计的需求。

在上述实施例的基础上，所述采集单元包括：

图像采集子单元，用于采集具有人眼特征信息的初始图像；

图像处理子单元，用于对所述初始图像进行图像处理，获得人眼图像。

在上述实施例的基础上，所述提取单元用于包括：

第一提取子单元，用于对所述人眼图像进行特征提取，获得所述人眼图像对应的二维特征信息；

第二提取子单元，用于在所述二维特征信息中进行信息提取，获得瞳孔中心参数信息和实际光斑中心参数信息。

在上述实施例的基础上，所述估计单元包括：

估计子单元，用于通过两瞳孔距离、实际瞳孔中心的位置信息和实际光斑中心对应的坐标信息，估计获得虚拟光斑；

获取子单元，用于获得所述虚拟光斑的虚拟光斑中心的参数信息。

在上述实施例的基础上，所述获取单元包括：

确定子单元，用于根据距离参数确定归一化因子，所述归一化因子表征距离参数的函数，所述距离参数包括所述两瞳孔距离、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离中的一种；

输入子单元，用于将所述角膜反射向量和所述归一化因子输入至预设回归模型，获得注视点的估计信息。

实施例五

本发明实施例五提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行实施例一至三中任一项所述的注视点估计方法步骤。

实施例六

本发明实施例六提供了一种设备，该设备包括处理器、存储器以及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

采集人眼图像；

对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息；

基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息；

根据所述瞳孔中心、所述实际光斑中心对应的参数信息和所述虚拟光斑中心的参数信息进行计算，获得角膜反射向量；

将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息。

进一步地，所述采集人眼图像，包括：

采集具有人眼特征信息的初始图像；

对所述初始图像进行图像处理，获得人眼图像。

进一步地，所述对所述人眼图像进行特征提取，获得瞳孔中心和实际光斑中心对应的参数信息，包括：

对所述人眼图像进行特征提取，获得所述人眼图像对应的二维特征信息；

在所述二维特征信息中进行信息提取，获得瞳孔中心参数信息和实际光斑中心参数信息。

进一步地，所述基于所述瞳孔中心和实际光斑中心对应的参数信息，估计获得虚拟光斑中心的参数信息，包括：

通过两瞳孔距离、实瞳孔中心的位置信息和实际光斑中心对应的坐标信息，获得虚拟光斑；

获得所述虚拟光斑的虚拟光斑中心的参数信息。

进一步地，所述将所述角膜反射向量输入至预设回归模型，获得注视点的估计信息，包括：

根据距离参数确定归一化因子，所述归一化因子表征距离参数的函数，所述距离参数包括所述两瞳孔距离、实际光斑与虚拟光斑的间距或者两眼指定特征点之间的距离中的一种；

将所述角膜反射向量和所述归一化因子输入至预设回归模型，获得注视点的估计信息。

本文中的设备可以是服务器、PC、PAD、手机等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。