首页> 中国专利> 变形瞳孔定位方法、装置以及设备

变形瞳孔定位方法、装置以及设备

摘要

本发明公开了一种变形瞳孔定位方法、装置以及设备,本发明的构思在于先通过初步定位,锁定眼动图像中瞳孔的大致范围,在此范围基础上,针对变形瞳孔定位具有较高的空间复杂度以及时间复杂度的特点,结合眼动图像的像素灰度以及预设的差分进化策略,在初步定位结果中进行全局的进化式参数搜索,以加速得到瞳孔形状参数的最优解。本发明能够高效搜索到变形瞳孔在输入的眼动图像中的位置,特别是针对存在不均匀光斑、睫毛、头发、眼睑、眼镜框等干扰因素情况,可以显著提升瞳孔定位的速度及精度。

著录项

  • 公开/公告号CN112926536A

    专利类型发明专利

  • 公开/公告日2021-06-08

    原文格式PDF

  • 申请/专利权人 科大讯飞股份有限公司;

    申请/专利号CN202110369394.8

  • 发明设计人 方益平;叶之金;雷琴辉;刘俊峰;

    申请日2021-04-06

  • 分类号G06K9/00(20060101);G06N3/00(20060101);

  • 代理机构11252 北京维澳专利代理有限公司;

  • 代理人常小溪

  • 地址 230088 安徽省合肥市高新开发区望江西路666号

  • 入库时间 2023-06-19 11:19:16

说明书

技术领域

本发明涉及视线跟踪技术领域,尤其涉及一种变形瞳孔定位方法、装置以及设备。

背景技术

在不同的视线跟踪应用场景中,可能由于跟踪设备的配制差异或者待测对象自身的变化,导致视线跟踪的目标,也即是瞳孔在成像时存在一定变形,多数情况下,会由圆形瞳孔变为椭圆瞳孔,例如一些头戴式视线跟踪系统中的摄像头一般是固定在头部的上方,其距离待测对象的眼睛很近,也即是该视线跟踪系统拍摄出来的眼动图像的主要就是眼睛区域,所以当待测对象的眼球随着注视点的变化而发生较大的转动时,采集到的眼动图像中的瞳孔将会呈现出椭圆形状,由此,本领域中常规对于圆形瞳孔的定位方法不再适用此情况。

当前对于变形瞳孔的定位技术主要依赖于对图像中变形瞳孔的边缘点的精准提取该前提,也即是说目标边缘点提取的好与坏将直接影响到瞳孔定位的精度。而且,在边缘点提取提过程中需要站位于多维参数空间进行海量搜索,实现效率并不尽如人意,尤其是当面对存在干扰因素的眼动图像时,例如眼部受到光斑、睫毛、眼睑等遮挡,还会引入大量的干扰噪声,使得对于变形瞳孔定位的实现复杂度增加,导致不仅求解搜索过程耗时明显且还可以出现定位失败等问题。

发明内容

鉴于上述,本发明旨在提供一种变形瞳孔定位方法、装置以及设备,以及相应地提供了一种计算机数据存储介质和计算机程序产品,主要解决现有变形瞳孔定位方案依赖瞳孔边缘像素点的提取精度,导致搜索效率低下且易受干扰致使定位失败的问题。

本发明采用的技术方案如下:

第一方面,本发明提供了一种变形瞳孔定位方法,其中包括:

对获取的待测眼动图像进行瞳孔初步定位,得到瞳孔参数的范围;其中,所述瞳孔参数包括瞳孔的:中心横坐标、中心纵坐标、长轴、长短轴比例以及偏转角度;

在所述待测眼动图像中获取满足所述瞳孔参数的像素点的灰度值;

根据所述灰度值以及预设的差分进化策略,对符合所述范围内的全部像素点进行搜索并确定所述待测眼动图像中瞳孔的目标位置。

在其中至少一种可能的实现方式中,所述根据所述灰度值以及预设的差分进化策略,对符合所述范围内的全部像素点进行搜索包括:

基于预设的椭圆差分算子,对所述范围内的全部像素点求取灰度差分值;

搜索到所述灰度差分值的极值,并根据差分极值确定目标瞳孔参数。

在其中至少一种可能的实现方式中,所述根据所述灰度值以及预设的差分进化策略,对符合所述范围内的全部像素点进行搜索具体包括:

基于所述瞳孔参数的范围构建参数种群,所述参数种群包含若干个参数个体;

对所述参数个体进行拓展;

结合拓展前后的参数个体以及所述椭圆差分算子,计算所述范围内的全部像素点的灰度差分值;

比对拓展前后参数个体的计算结果,利用所述灰度差分值的极值所对应的参数个体更新所述参数种群,进化得到下一代参数种群;

按上述过程搜索瞳孔参数,直至满足预设的进化条件,输出目标瞳孔参数。

在其中至少一种可能的实现方式中,根据所述对所述参数个体进行拓展包括:

按预设的缩放因子,对所述参数个体进行变异,得到对应于各所述参数个体的变异个体;

根据所述参数个体、所述变异个体以及预设的交叉概率因子,生成若干中间个体。

在其中至少一种可能的实现方式中,所述缩放因子的取值随着种群进化代数的增加呈逐代递减趋势,和/或所述交叉概率因子的取值随着种群进化代数的增加呈逐代递增趋势。

第二方面,本发明提供了一种变形瞳孔定位装置,其中包括:

初步定位模块,用于对获取的待测眼动图像进行瞳孔初步定位,得到瞳孔参数的范围;其中,所述瞳孔参数包括瞳孔的:中心横坐标、中心纵坐标、长轴、长短轴比例以及偏转角度;

像素灰度获取模块,用于在所述待测眼动图像中获取满足所述瞳孔参数的像素点的灰度值;

瞳孔参数搜索模块,用于根据所述灰度值以及预设的差分进化策略,对符合所述范围内的全部像素点进行搜索并确定所述待测眼动图像中瞳孔的目标位置。

在其中至少一种可能的实现方式中,所述瞳孔参数搜索模块包括:

瞳孔参数求解子模块,用于基于预设的椭圆差分算子,对所述范围内的全部像素点求取灰度差分值;

目标参数确定子模块,用于搜索到所述灰度差分值的极值,并根据差分极值确定目标瞳孔参数。

在其中至少一种可能的实现方式中,所述瞳孔参数搜索模块具体包括:

种群初始化单元,用于基于所述瞳孔参数的范围构建参数种群,所述参数种群包含若干个参数个体;

参数个体拓展单元,用于对所述参数个体进行拓展;

参数求解个体单元,用于结合拓展前后的参数个体以及所述椭圆差分算子,计算所述范围内的全部像素点的灰度差分值;

参数个体选择单元,有浓郁比对拓展前后参数个体的计算结果,利用所述灰度差分值的极值所对应的参数个体更新所述参数种群,进化得到下一代参数种群;

进化终止单元,用于按上述过程搜索瞳孔参数,直至满足预设的进化条件,输出目标瞳孔参数。

在其中至少一种可能的实现方式中,所述参数个体拓展单元包括:

个体变异组件,用于按预设的缩放因子,对所述参数个体进行变异,得到对应于各所述参数个体的变异个体;

个体交叉组件,用于根据所述参数个体、所述变异个体以及预设的交叉概率因子,生成若干中间个体。

在其中至少一种可能的实现方式中,所述差分进化策略中的缩放因子的取值,预设为随着种群进化代数的增加呈逐代递减趋势;和/或所述差分进化策略中的交叉概率因子的取值,预设为随着种群进化代数的增加呈逐代递增趋势。

第三方面,本发明提供了一种电子设备,其中包括:

一个或多个处理器、存储器以及一个或多个计算机程序,所述存储器可以采用非易失性存储介质,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第四方面,本发明提供了一种计算机数据存储介质,该计算机数据存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机至少执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第五方面,本发明还提供了一种计算机程序产品,当所述计算机程序产品被计算机执行时,用于至少执行第一方面或者第一方面的任一可能实现方式中的所述方法。

在第五方面的至少一种可能的实现方式中,该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上,也可以部分或者全部存储在不与处理器封装在一起的存储介质上。

本发明的构思在于先通过初步定位,锁定眼动图像中瞳孔的大致范围,在此范围基础上,针对变形瞳孔定位具有较高的空间复杂度以及时间复杂度的特点,结合眼动图像的像素灰度以及预设的差分进化策略,在初步定位结果中进行全局的进化式参数搜索,以加速得到瞳孔形状参数的最优解。本发明能够高效搜索到变形瞳孔在输入的眼动图像中的位置,特别是针对存在不均匀光斑、睫毛、头发、眼睑、眼镜框等干扰因素情况,可以显著提升瞳孔定位的速度及精度。

进一步地,为差分进化策略预设椭圆求解算子,也即是为差分进化步骤中的参数选择环节设定求解瞳孔参数的目标函数,以此辅助提升定位求解过程的鲁棒性和准确性。

进一步地,在一些较佳实施例中,本发明对差分进化策略的某些控制因子进行优化,使变形瞳孔定位的全局最优性、收敛精度、收敛速度等方面均得到显著的改善。

附图说明

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步描述,其中:

图1为本发明提供的变形瞳孔定位方法的实施例的流程图;

图2为本发明提供的差分进化策略搜索瞳孔参数的实施例的流程图;

图3为本发明提供的变形瞳孔定位装置的实施例的示意图;

图4为本发明提供的电子设备的实施例的示意图。

具体实施方式

下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

在对本发明具体方案展开前,针对前文提及的为了兼顾参数搜索效率以及回避干扰影响的需求,本发明将常规的椭圆拟合方式与变形瞳孔方案相结合进行了分析研判,当然,这也是形成本发明创造构思的推导过程。经发明人分析,目前的主要三种用于变形瞳孔定位的策略:基于Hough变换的拟合椭圆的算法、最小二乘拟合的算法、随机采样一致性的算法,各有优劣。具体来说:

(1)Hough变换拟合椭圆算法

该算法的主要优点是对于椭圆的部分缺损以及噪声等相对不敏感,检测精度的单一需求可以得到保证,但是由于变形瞳孔具有5个待定的参数,也即是检测椭圆形瞳孔时需要在5维的参数空间中进行累计投票,该算法的时间和空间复杂度非常高,拟合效率完全满足不了当下实时在线应用场景的要求。

(2)最小二乘拟合的算法

该算法主要是基于均方误差最小化的原则,当面对瞳孔边缘点易于检测的输入条件时,该算法能达到较高的拟合精度。但是,在实际应用中,输入的眼动图像在瞳孔边缘点检测过程中往往会受到干扰点的影响,特别对于睫毛、光斑等干扰严重的情况下,以此方式拟合出来的椭圆瞳孔与真实结果相比偏差较大。

(3)随机采样一致性的算法

概算法在拟合速度上可以优于前者,但在有较大干扰的输入图像中容易依然很大概率会引入无效采样,使得计算量和内存需求均增大,并且最终可能导致算法在可接受的时间或内存空间占有情况下难以定位出目标瞳孔。

经分析,上述算法并不能兼顾效率和精度,由此本发明提出了一种不再依赖瞳孔边缘点提取的变形瞳孔定位方案,主要是通过计算眼动图像中瞳孔存在的区域内,可能的椭圆圆周的像素点灰度值的差分,并搜索灰度差分值的最大值以此作为变形瞳孔的边缘所在,进而也就确定出瞳孔的位置。具体地,本发明提出了如下至少一种变形瞳孔定位方法的实施例,如图1所示的,具体可以包括:

步骤S1、对获取的待测眼动图像进行瞳孔初步定位,得到瞳孔参数的范围。

由于瞳孔为圆形,其在眼动图像中呈现的变形结构因而多为椭圆,由此本发明所考虑的瞳孔参数是按椭圆参数考察的,具体地,所述瞳孔参数主要是包括瞳孔的中心横坐标、瞳孔的中心纵坐标、瞳孔的长轴、瞳孔的长短轴比例以及瞳孔的偏转角度。

换言之,变形瞳孔定位的需求就转化为在5维参数空间中找寻全局最优解的任务,可想而知,这是一项极其庞大、复杂的搜索工作。进一步经分析,因为眼动图像中的瞳孔具有较为明显的图像特性,因此在本实施例中提出,可以先通过初步定位的方式,初步锁定眼动图像中瞳孔的大致范围,以加快后续精确定位的处理速度。这里提及的初步定位也即是可以理解为粗定位,在实际操作中,可以但不限于采用先验知识、常规的二值化、径向对称等成熟策略予以具体实现。

例如,在某些实施参考中,可由粗定位策略得到眼动图像中瞳孔的大致位置,例如对于分辨率为768*576的待测眼动图像(或者是输入的眼部图像)中,经由粗定位处理可以得到瞳孔参数的大致搜索区间:瞳孔中心横纵坐标的变化范围为100*100个像素;长轴大小位于20-120个像素之间;短轴与长轴的比例因子大小位于0.2-1.0;偏转角度为0-180度之间。另外,假定在此示例中,中心位置和长轴的搜索步长为1个像素,比例因子步长为0.01,偏转角度步长为1度,那么经由初步定位后,获得的遍历空间的大小为:

Total=Δx*Δy*Δa*Δε*Δθ

=100*100*100*80*180=1.44*10

其中Δx,Δy,Δa,Δε,Δθ分别为变形瞳孔中心横纵坐标、长轴、比例因子以及偏转的角度的变化量。

步骤S2、在所述待测眼动图像中获取满足所述瞳孔参数的像素点的灰度值。

本发明的立足点是对图像进行目标查找,因而需要借助图像本身的属性特点,这里采用的是眼动图像的像素点的灰度值作为考察基础,对于如何获取像素灰度值则属于本领域的成熟技术,并且可以指出的是在本发明相关的应用场景中所采用的摄像设备可以便捷地获得像素的灰度属性,例如头戴式视线跟踪系统所用的红外摄像头,便可以直接捕获眼部灰度图,因而本发明可以不对此步骤的实现方式进行限定。

步骤S3、根据所述灰度值以及预设的差分进化策略,对符合所述范围内的全部像素点进行搜索并确定所述待测眼动图像中瞳孔的目标位置。

如前文提及,即便经过了前述粗定位处理,将输入图像的全局搜索范围限缩到较小范围,但是相对而言,面对前文示例提及的1.44*10

并且为了确保精度,在实际操作中是预设的椭圆差分算子,对所述范围内的全部像素点求取椭圆圆周的灰度差分值,并由此在搜索到所述灰度差分值的极值后,便可以根据该差分极值确定出目标瞳孔参数。

基于此,在本发明的至少一个较佳实施例中,提出了一种较优的求解目标函数,即利用如下求解椭圆的微积分算子来获取瞳孔参数:

其中

换言之,前述整个椭圆差分算子的作用可以理解为是基于尺度σ模糊化的椭圆边缘检测器,它并非如常规椭圆拟合方式需要提取椭圆边缘像素点,而是在粗定位后获得的全局参数空间I(x

也即是说,随着求解问题的复杂性和多样化,本领域常规的确定性优化算法难以解决搜索椭圆圆周上的灰度差分最大值该5维空间的最优化问题,因而本发明结合椭圆求解公式以及差分进化策略,以此实现对椭圆瞳孔的定位。

本发明在设计阶段经过对比分析,所述差分进化策略在解决本发明关注的如何兼顾定位效率和精度的问题上,表现更符合期待。具体来说,差分进化策略是一种基于实数编码的具有保优思想的贪婪遗传算法,其具有较强的全局搜素能力,且具备收敛速度快、高效、鲁棒性强等特点。在实际操作中,差分进化算法(DE)可基于参数群体差异性进行进化,并能够记忆个体最优解且在种群内共享信息,通过种群内个体间的合作与竞争来实现对优化问题的求解。

结合图2所示,本发明提供了一种较佳地结合差分进化思想的参数搜索方案,可以包括如下环节:

步骤S31、基于所述瞳孔参数的范围构建参数种群,所述参数种群包含若干个参数个体;

步骤S32、对所述参数个体进行拓展;

步骤S33、结合拓展前后的参数个体以及所述椭圆差分算子,计算所述范围内的全部像素点的灰度差分值;

步骤S34、比对拓展前后参数个体的计算结果,利用所述灰度差分值的极值所对应的参数个体更新所述参数种群,进化得到下一代参数种群;

步骤S35、按上述过程搜索瞳孔参数,直至满足预设的进化条件,输出目标瞳孔参数。

为了充分利用到参数种群内个体之间的合作与竞争关系,对于前述参数个体拓展的操作,还可以具体表现为:一方面、按预设的缩放因子,对所述参数个体进行变异,得到对应于各所述参数个体的变异个体;另一方面、根据所述参数个体、所述变异个体以及预设的交叉概率因子,生成若干中间个体。换言之,是在对椭圆圆周实施差分进化择优操作之前,充分当前一代的参数种群中的参数个体进行丰富拓展,上述从结合变异及交叉的具体拓展方式是本发明的一种优选示意,不排除在其他实施例中采用其他构思进行参数个体的拓展。

结合具体示例,对前述构思做进一步说明:

(1)基于椭圆瞳孔定位场景进行种群参数初始化。

选取种群的个体参数向量为[a,ε,θ,x

种群中每个参数个体为:

一般可以假定对所有随机初始化种群均服从均匀概率分布,所以针对变形瞳孔定位场景来说,种群参数初始化也可以按照随机选择,具体操作为从前述粗定位结果获得的参数取值区间中(长轴:20<a<120,短轴和长轴的比例因子:0.2<ε<1.0,偏转角度:0<θ<180,中心坐标:1<x

(2)针对椭圆瞳孔定位参数的个体变异。

如前文提及的优选示例,可以对当前一代种群中每个椭圆瞳孔参数个体向量

其中,随机选择的序号r

(3)针对椭圆瞳孔定位参数的个体交叉。

为了增加参数个体的多样性,该实施例引入交叉操作,具体来说,交叉操作是按照每个椭圆瞳孔参数的个体向量的分量进行操作,具体的执行过程可参考如下,首先生成一个随机整数randn(i),然后根据生成的瞳孔参数的变异个体

更佳地,为了保证椭圆瞳孔参数的进化性,通过随机选择可使得椭圆瞳孔参数中的中间个体

式中rand(j)表示[0,1]之间的均匀分布随机数;CR为范围在[0,1]之间的交叉概率因子;randn(i)为椭圆瞳孔参数{1,2,3,4,5}之间的随机量。

(4)椭圆瞳孔参数个体选择。

在经由前述过程对种群参数的多样性进行拓展后,可以借由前文提及的椭圆微分算子,生成的瞳孔参数的中间个体

在实际操作中,为了便于此个体选择环节,对前文提及的椭圆目标函数(椭圆差分算子)的偏微分方程的极值求解过程进行了如下变化,也即是将极值的求解问题转变为在五维参数空间I(x

其中σ为两个椭圆之间的间隔,由此,可以利用拓展前后参数个体(该示例中所述参数个体以及所述中间个体)得到两个差分求解结果,进而可以在二者之间进行比较,选择出目标函数值较优的参数个体作为新的椭圆瞳孔参数种群的个体

其中,

(5)椭圆瞳孔参数的终止检验。

在进化过程中,如果椭圆瞳孔参数的第G代种群X

在前述实施例及其优选方案基础上,本发明进一步考虑到,虽然DE算法可以满足本发明的特定需求,但是常规的DE算法本身也存在着一些不足,例如:

(1)容易陷入局部最优;

(2)常规DE对其中的变异因子(缩放因子)F和交叉概率因子CR的设置多为固定值。

由此,本发明在一些较佳的实施例中对于前述拓展过程中的参数个体拓展环节做了优化改进,以达到在保证搜索到最大值的同时进一步提高搜索速度的目的。

具体来说,前述缩放因子F的取值,可以随着种群进化代数的增加呈逐代递减趋势,和/或,前述交叉概率因子CR的取值,可以随着种群进化代数的增加呈逐代递增趋势,也即是对差分进化过程中的个体拓展环节进行动态调整,而非采用初始预设的固定标准。

下面以一具体但并非限定的实施示例进行说明。在本发明关注的变形瞳孔定位过程中,优选的差分进化策略所涉及的拓展手段之一,缩放因子F会影响搜索过程的收敛性和收敛的速度。

在个体变异过程中,当F取值较小的时候,针对椭圆瞳孔参数的种群目标个体

针对本发明分析出的上述矛盾点,可以考虑在进化搜索的初始阶段先保持椭圆瞳孔参数种群的多样性,后续再逐步加速椭圆瞳孔参数的收敛,具体地,可以设计动态的缩放因子

下面再以一具体但并非限定的实施示例进行说明。在本发明关注的变形瞳孔定位过程中,优选的差分进化策略所涉及的拓展手段之一,交叉概率因子CR同样会影响搜索过程的收敛性和收敛的速度。

在个体进行交叉拓展的过程中,如果CR取值越大,椭圆瞳孔参数种群中变异个体

针对本发明分析出的前述相对优势,可以考虑在进化搜索的初始阶段使交叉概率因子取值较小,利于此极端提高椭圆瞳孔参数的全局搜索能力,而在进化后期则可以使用取值较大的交叉概率因子,以加速椭圆瞳孔参数的收敛。

基于此,本发明对构造优化的交叉概率因子CR进行推导,假定该优化的交叉概率因子的核函数具备递增性质

需指出的是,前述对于拓展环节中两个因素进行优化,可以独立实施也可以综合实施,并且本领域技术人员可以理解的是当在执行差分进化椭圆求解过程中,如果综合实施了优化后的缩放因子以及交叉概率因子,则会使得对于变形瞳孔的定位处理达到更加的效果。

最后,本发明还通过实际测试,验证了改进后的交叉概率因子和缩放因子的差分进化策略在对椭圆瞳孔定位的收敛速度、收敛精度、搜索全局最优值等性能上,相比未优化的差分进化策略的优势所在。

下述参考性实验是基于预先采集的理想眼部图像样本Ea以及存在干扰因素的眼部图像样本Ec,以及未优化的标准差分进化算法的参数选取为:种群数目为30,最大迭代次数G

表1实验结果

从表1中首先可以看出,本发明在粗定位处理并引入差分进化策略后对变形瞳孔的定位处理,其正确率较高且定位耗时也较短,能够解决传统变形瞳孔定位方案处理效率低下,尤其在瞳孔受到干扰时甚至导致定位失败的问题。主要是因为本发明避开了传统算法依赖的瞳孔边缘点提取步骤,而是通过统计输入图像中存在瞳孔的区域范围内可能的椭圆圆周上所有像素点的灰度差分值实现对变形瞳孔的定位,因此表现出了更强的鲁棒性。

进一步地,从表1中还可以看出,优化后的差分进化策略显现出更佳的变形瞳孔定位效果,当使用标准DE算法时,进化代数为145时就基本上收敛了,特别地,对于理想的眼部图像,达到收敛的代数更少,为137次。而使用参数个体拓展因子优化后的差分进化策略,即便是针对带有干扰的眼动图,仅需85代进化便可以输出目标参数,进化速度得到显著提升,且定位准确率不降反升,可证,引入差分进化策略,尤其是针对变形瞳孔定位应用改进后的差分进化策略,完全胜任各类场景下对于瞳孔定位的实用需求。

综上所述,本发明的构思在于先通过初步定位,锁定眼动图像中瞳孔的大致范围,在此范围基础上,针对变形瞳孔定位具有较高的空间复杂度以及时间复杂度的特点,结合眼动图像的像素灰度以及预设的差分进化策略,在初步定位结果中进行全局的进化式参数搜索,以加速得到瞳孔形状参数的最优解。本发明能够高效搜索到变形瞳孔在输入的眼动图像中的位置,特别是针对存在不均匀光斑、睫毛、头发、眼睑、眼镜框等干扰因素情况,可以显著提升瞳孔定位的速度及精度。

相应于上述各实施例及优选方案,本发明还提供了一种变形瞳孔定位装置的实施例,如图3所示,具体可以包括如下部件:

初步定位模块1,用于对获取的待测眼动图像进行瞳孔初步定位,得到瞳孔参数的范围;其中,所述瞳孔参数包括瞳孔的:中心横坐标、中心纵坐标、长轴、长短轴比例以及偏转角度;

像素灰度获取模块2,用于在所述待测眼动图像中获取满足所述瞳孔参数的像素点的灰度值;

瞳孔参数搜索模块3,用于根据所述灰度值以及预设的差分进化策略,对符合所述范围内的全部像素点进行搜索并确定所述待测眼动图像中瞳孔的目标位置。

在其中至少一种可能的实现方式中,所述瞳孔参数搜索模块包括:

瞳孔参数求解子模块,用于基于预设的椭圆差分算子,对所述范围内的全部像素点求取灰度差分值;

目标参数确定子模块,用于搜索到所述灰度差分值的极值,并根据差分极值确定目标瞳孔参数。

在其中至少一种可能的实现方式中,所述瞳孔参数搜索模块具体包括:

种群初始化单元,用于基于所述瞳孔参数的范围构建参数种群,所述参数种群包含若干个参数个体;

参数个体拓展单元,用于对所述参数个体进行拓展;

参数求解个体单元,用于结合拓展前后的参数个体以及所述椭圆差分算子,计算所述范围内的全部像素点的灰度差分值;

参数个体选择单元,有浓郁比对拓展前后参数个体的计算结果,利用所述灰度差分值的极值所对应的参数个体更新所述参数种群,进化得到下一代参数种群;

进化终止单元,用于按上述过程搜索瞳孔参数,直至满足预设的进化条件,输出目标瞳孔参数。

在其中至少一种可能的实现方式中,所述参数个体拓展单元包括:

个体变异组件,用于按预设的缩放因子,对所述参数个体进行变异,得到对应于各所述参数个体的变异个体;

个体交叉组件,用于根据所述参数个体、所述变异个体以及预设的交叉概率因子,生成若干中间个体。

在其中至少一种可能的实现方式中,所述差分进化策略中的缩放因子的取值,预设为随着种群进化代数的增加呈逐代递减趋势;和/或所述差分进化策略中的交叉概率因子的取值,预设为随着种群进化代数的增加呈逐代递增趋势。

应理解以上图3所示的变形瞳孔定位装置可中各个部件的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分部件以软件通过处理元件调用的形式实现,部分部件通过硬件的形式实现。例如,某个上述模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如,以上这些部件可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些部件可以集成在一起,以片上系统(System-On-a-Chip;以下简称:SOC)的形式实现。

综合上述各实施例及其优选方案,本领域技术人员可以理解的是,在实际操作中,本发明所涉及的技术构思可适用于多种实施方式,本发明以下述载体作为示意性说明:

(1)一种电子设备。该设备具体可以包括:一个或多个处理器、存储器以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行前述实施例或者等效实施方式的步骤/功能。

该电子设备具体可以为与计算机相关的电子设备,例如但不限于各类交互终端及电子产品等,也可以是如前文提及的头戴式视线跟踪系统中所含的相关电子设备。

图4为本发明提供的电子设备的实施例的结构示意图,具体地,电子设备900包括处理器910和存储器930。其中,处理器910和存储器930之间可以通过内部连接通路互相通信,传递控制和/或数据信号,该存储器930用于存储计算机程序,该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置,更常见的是彼此独立的部件,处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时,该存储器930也可以集成在处理器910中,或者,独立于处理器910。

除此之外,为了使得电子设备900的功能更加完善,该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个,所述音频电路还可以包括扬声器982、麦克风984等。其中,显示单元970可以包括显示屏。

进一步地,上述设备900还可以包括电源950,用于给该设备900中的各种器件或电路提供电能。

应理解,该设备900中的各个部件的操作和/或功能,具体可参见前文中关于方法、系统等实施例的描述,为避免重复,此处适当省略详细描述。

应理解,图4所示的电子设备900中的处理器910可以是片上系统SOC,该处理器910中可以包括中央处理器(Central Processing Unit;以下简称:CPU),还可以进一步包括其他类型的处理器,例如:图像处理器(Graphics Processing Unit;以下简称:GPU)等,具体在下文中再作介绍。

总之,处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程,且各部分处理器或处理单元相应的软件程序可存储在存储器930中。

(2)一种计算机数据存储介质,在该存储介质上存储有计算机程序或上述装置,当计算机程序或上述装置被执行时,使得计算机执行前述实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机数据取存储介质中。基于这样的理解,本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

尤其需指出的是,该存储介质可以是指服务器或相类似的计算机设备,具体地,也即是服务器或类似的计算机设备中的存储器件中存储有前述计算机程序或上述装置。

(3)一种计算机程序产品(该产品可以包括上述装置),该计算机程序产品在终端设备上运行时,使终端设备执行前述实施例或等效实施方式的变形瞳孔定位方法。

通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,上述计算机程序产品可以包括但不限于是指APP。

接续前文,上述设备/终端可以是一台计算机设备,并且,该计算机设备的硬件结构还可以具体包括:至少一个处理器,至少一个通信接口,至少一个存储器和至少一个通信总线;处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中,处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器,还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units;以下简称:NPU)和图像信号处理器(Image SignalProcessing;以下简称:ISP),该处理器还可包括特定集成电路ASIC,或者是被配置成实施本发明实施例的一个或多个集成电路等,此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储器等存储介质中;而前述的存储器/存储介质可以包括:非易失性存储器(non-volatile memory),例如非可移动磁盘、U盘、移动硬盘、光盘等,以及只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random AccessMemory;以下简称:RAM)等。

本发明实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。

本领域技术人员可以意识到,本说明书中公开的实施例中描述的各模块、单元及方法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

以及,其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个地方,例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下,即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果,但以上仅为本发明的较佳实施例,需要言明的是,上述实施例及其优选方式所涉及的技术特征,本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下,合理地组合搭配成多种等效方案;因此,本发明不以图面所示限定实施范围,凡是依照本发明的构想所作的改变,或修改为等同变化的等效实施例,仍未超出说明书与图示所涵盖的精神时,均应在本发明的保护范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号