基于纹理特征的眼动轨迹识别方法及装置

摘要

本发明提供一种基于纹理特征的眼动轨迹识别方法及装置，通过获取眼动仪记录的原始眼动轨迹图，并提取原始眼动轨迹图的特征，将所提取的特征输入分类器中，获取识别效果，通过在原始眼动轨迹图上进行识别，其纹理细节更丰富，提高了识别准确率。

说明书

技术领域

本发明涉及图像处理技术，尤其涉及一种基于纹理特征的眼动轨迹识别方法及装置。

背景技术

生物特征识别，是指通过计算机利用人体所固有的特征来进行身份鉴定的技术。眼动轨迹识别技术在身份鉴别和个人视觉信息加工的独特心理机制中得到广泛应用。

现有技术中，眼动轨迹识别方法是基于注视点和眼跳的特征进行识别的方法，即“复杂眼动模式生物特征”，“复杂眼动模式生物特征”是基于注视点和眼跳轨迹图提取的特征，而注视点和眼跳轨迹图是以注视点和眼跳数据作图，因此得到的注视点和眼跳轨迹非常稀疏，其中，眼动仪获取眼动轨迹图的原始数据，假设眼动仪的采样率是300HZ，注视点是指当前采样点与下一个采用点的间隔时间大于等于某个预设阈值的点，该阈值通常为200ms，眼跳是指两个注视点之间的快速移动的点，由于注视点和眼跳是基于原始眼动数据人为划分的，并且，得到的注视点和眼跳轨迹非常稀疏，因此其识别的准确性低。

发明内容

本发明提供的基于纹理特征的眼动轨迹识别方法及装置，通过在原始眼动轨迹图上进行识别，其纹理细节更丰富，提高了识别准确率。

本发明提供一种基于纹理特征的眼动轨迹识别方法，包括：获取眼动仪记录的N张原始眼动轨迹图，所述N为大于等于1的整数；提取所述N张原始眼动轨迹图的特征；将所述N张原始眼动轨迹图的特征输入到分类器，获取识别结果。

所述N张原始眼动轨迹图的特征包括M个待识别的样本的特征；所述提取所述N张原始眼动轨迹图的特征，包括：将所述N张原始眼动轨迹图组合成M个待识别的样本，其中，每个所述待识别的样本中包含L×L张原始眼动轨迹图，所述L为大于等于1的整数，所述M为大于等于1的整数，且所述L×L×M的积小于等于所述N；提取每个所述待识别的样本的特征。

所述将所述N张原始眼动轨迹图组合成M个待识别的样本，包括：从所述N张原始眼动轨迹图中确定L×L×M张原始眼动轨迹图；对所述L×L×M张原始眼动轨迹图按照L×L的分布方式组合成M个待识别的样本。

所述提取每个所述待识别的样本的特征，包括：对每个所述待识别的样本进行Gabor变换；提取Gabor变换之后的每个所述待识别的样本的特征。

所述对每个所述待识别的样本进行Gabor变换，包括：将每个所述待识别的样本转化为对应的二维矩阵；对每个所述二维矩阵进行二值化；使用不同频率f和方向θ的Gabor变换函数对二值化后的每个所述二维矩阵分别做二维卷积运算得到f×θ个结果矩阵，所述Gabor变换函数为$>G(x,y)=\frac{f^2}{\pi \mathrm{\gamma \eta }}\exp (-\frac{x^{\prime 2}+{\gamma }^2{y}^{\prime 2}}{2{\delta }^2})\exp (j2{\mathrm{\pi fx}}^{\prime }+\phi ),$>其中，$>\begin{array}{c}{x}^{\prime }=xcos\theta +ysin\theta \\ y^{\prime }=-x\sin \theta +y\cos \theta \end{array},$>f为Gabor变换函数中正弦曲线的频率，θ为Gabor变换函数的方向，φ为相位差，δ为高斯函数的标准差，γ为空间比例常数。

所述提取Gabor变换之后的每个所述待识别的样本的特征，包括：将所述f×θ个结果矩阵转化为f×θ个一维向量，对所述f×θ个一维向量分别求均值和方差得到f×θ个均值和f×θ个方差，将所述f×θ个均值和/或所述f×θ个方差作为提取的一个待识别的样本的特征。

所述将所述N张原始眼动轨迹图的特征输入到分类器，获取识别结果，包括：从所述N张原始眼动轨迹图的M个待识别的样本的M个特征向量中随机抽取m个特征向量作为训练样本，(M-m)个特征向量作为测试样本，使用所述训练样本对分类器进行训练，将所述测试样本的特征输入训练好的分类器，获取识别结果，一个所述待识别的样本对应一个所述特征向量，所述m为大于等于1的整数。

本发明提供一种基于纹理特征的眼动轨迹识别装置，包括：获取模块，用于获取眼动仪记录的N张原始眼动轨迹图，所述N为大于等于1的整数；特征提取模块，用于提取所述N张原始眼动轨迹图的特征；识别模块，用于将所述N张原始眼动轨迹图的特征输入到分类器，获取识别结果。

所述特征提取模块包括：图片处理单元，用于将所述N张原始眼动轨迹图组合成M个待识别的样本，其中，每个所述待识别的样本中包含L×L张原始眼动轨迹图，所述L为大于等于1的整数，所述M为大于等于1的整数，且所述L×L×M的积小于等于所述N；提取单元，用于提取每个所述待识别的样本的特征。

所述图片处理单元具体用于从所述N张原始眼动轨迹图中确定L×L×M张原始眼动轨迹图；对所述L×L×M张原始眼动轨迹图按照L×L的分布方式组合成M个待识别的样本。

本实施例提供的基于纹理特征的眼动轨迹识别方法及装置，通过获取眼动仪记录的原始眼动轨迹图，并提取原始眼动轨迹图的特征，将所提取的特征输入分类器中，获取识别效果，通过在原始眼动轨迹图上进行识别，其纹理细节更丰富，提高了识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于纹理特征的眼动轨迹识别方法实施例一的流程图；

图2为是本发明基于纹理特征的眼动轨迹识别方法实施例二的流程图；

图3A为本发明一个应用实例数字搜索测试的原始眼动轨迹图组合后的一个待识别的样本；

图3B为本发明另外一个应用实例心里旋转测试的原始眼动轨迹图组合后的一个待识别的样本；

图4是本发明基于纹理特征的眼动轨迹识别方法实施例三的流程图；

图5为Gabor变换函数的具体波形图；

图6为不同频率特征值对应的识别正确率的差值；

图7是本发明基于纹理特征的眼动轨迹识别装置实施例一的结构示意图；

图8是本发明基于纹理特征的眼动轨迹识别装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明基于纹理特征的眼动轨迹识别方法实施例一的流程图，如图1所示，本实施例的方法可以包括：

步骤101：获取眼动仪记录的N张原始眼动轨迹图，其中，N为大于等于1的整数。

首先获取眼动轨迹图的原始数据，采集眼动数据所用眼动仪的采样率是300HZ，如果以现有技术采用的注视点数据作图，得到的注视点轨迹将非常稀疏，因而失去了大部分视觉信息处理的纹理特征。因为我们是将被试的注视轨迹作为纹理进行分析，纹理细节越丰富，越能反映被试的搜索特征，如果以300Hz的原始数据进行注视轨迹作图的话，会有更多的纹理细节，因此，本实施例中将采用原始数据所作的眼动轨迹图。以每次测试眼动仪采集到的数据绘图，得到N张原始眼动轨迹图片，其中N为大于等于1的整数。

在本发明实施例一中，由于提取的是纹理特征，因此绘制眼动轨迹图时采用的是眼动仪采集的原始数据，这样就能反映更多的视觉信息。另外，限于实验数据数量的问题，在本发明的实例中优选的采用3×3的组合方式。

步骤102：提取N张原始眼动轨迹图的特征。

特征提取是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。

本发明是基于纹理特征的眼动轨迹识别方法，纹理特征是一种全局特征，它描述了图像或图像区域所对应景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。

在本步骤中，提取步骤101中的N张原始眼动轨迹图的特征以便进行识别。该特征可以为均值、方差等统计数据。

步骤103：将N张原始眼动轨迹图的特征输入到分类器，获取识别结果。

将步骤102提取的特征输入训练好的分类器中，获取识别结果；如果不存在针对该原始眼动轨迹图的分类器，则先训练分类器，将步骤102提取的特征输入分类器进行训练，然后输入待测试图片进行识别。上述分类器可以是加权欧式距离、概率密度估计、支持向量机。本实施例中采用支持向量机作为我们的分类器，支持向量机属于一般化线性分类器，它通过构建一个超平面将样本分为两类，并同时实现最小化经验误差与最大化几何边缘区，其识别准确率高。

本实施例提供的基于纹理特征的眼动轨迹识别方法，通过获取眼动仪记录的原始眼动轨迹图，并提取原始眼动轨迹图的特征，将所提取的特征输入分类器中，获取识别效果，通过在原始眼动轨迹图上进行识别，其纹理细节更丰富，提高了识别准确率。

图2为是本发明基于纹理特征的眼动轨迹识别方法实施例二的流程图，如图2所示，本实施例的方法可以包括：

步骤201：获取眼动仪记录的N张原始眼动轨迹图。

本步骤和实施例一的步骤方法一样，此处不再赘述。

步骤202：将N张原始眼动轨迹图组合成M个待识别的样本，其中，每个待识别的样本中包含L×L张原始眼动轨迹图，L为大于等于1的整数，M为大于等于1的整数，且L×L×M的积小于等于N。

在本步骤中，上述N张原始眼动轨迹图的特征包括M个待识别的样本的特征，具体的，将N张原始眼动轨迹图组合成M个待识别的样本图片，每个待识别的样本图片中包含L×L张原始眼动轨迹图，例如，包含2×2，3×3，4×4张原始眼动轨迹图的待识别样本，当L为1时，为实施例一的实现方法流程所示，此时，N张原始眼动轨迹图就组合成M个待识别的样本，M的计算方法为N％(L×L)，即N对(L×L)取余得到的整数。

步骤203：提取每个待识别的样本的特征。

组合成上述待识别的样本后，对该待识别的样本进行特征提取。提取的特征与步骤102相同，此处不再赘述。

步骤204：将待识别的样本的特征输入到分类器，获取识别结果。

与步骤103类似，不同的是将步骤103中原始轨迹图组合成待识别的样本，提取出该样本的特征后，将其输入分类器，得到识别结果。

图3A为本发明一个应用实例数字搜索测试的原始眼动轨迹图组合后的一个待识别的样本，图3B为本发明另外一个应用实例心里旋转测试的原始眼动轨迹图组合后的一个待识别的样本，组合后的待识别样本分别如图3A和图3B所示。

具体的，将N张原始眼动轨迹图组合成M个待识别的样本，包括：从N张原始眼动轨迹图中确定出L×L×M张原始眼动轨迹图；对L×L×M张原始眼动轨迹图按照L×L的分布方式组合成M个待识别的样本。其中，确定出L×L×M张原始眼动轨迹图的方法可以采用随机抽取的方法，也可以人为选择，比如原始有40张原始眼动轨迹图，从中随机抽取36张图片，组成4个3×3的待识别的样本，每个待识别的样本按照横向3张、竖向3张原始眼动轨迹图的分布方式排列，不同应用实例的原始眼动轨迹图组合后的待识别的样本分别如图3A和图3B所示。其中，数字搜索是用来测试用户数字搜索能力的一种测试，数字搜索测试包括一个随机生成的7位“用户号码”和10组“中奖号码”，用户需要将“用户号码”与10组“中奖号码”进行匹配，并选择“用户号码”中了几等奖。心理旋转是一种想象自我或客体旋转的空间表征动力转换能力，也是一种评定空间智能的重要标尺。我们所采用的测试方式是判断两个三维图形是否通过一定角度的旋转而重合，如果能够重合，则选择相同结果，如果不能重合则选择不同。

一个被试在单次数字搜索任务中的注视轨迹差别比较大，可能不会具有某种稳定的特征，但是一个被试多次数字搜索任务的注视轨迹组合到一起就可能具有稳定的特征，该特征能反映一个被试的注视特征。本实施例的眼动轨迹识别方法，采用多次眼动轨迹图组合的方式进行识别，具有稳定的特征，使得识别结果更稳定准确。

进一步地，提取每个待识别的样本的特征，包括：对每个待识别的样本进行Gabor变换；提取Gabor变换之后的每个待识别的样本的特征。

Gabor变换属于加窗傅立叶变换，Gabor函数可以在频域不同尺度、不同方向上提取相关的特征。另外Gabor函数与人眼的生物作用相仿，所以经常用作纹理识别上，并取得了较好的效果。依据Gabor变换得到的结果，将其转换成一维向量，然后求得均值和方差。

图4是本发明基于纹理特征的眼动轨迹识别方法实施例三的流程图，如图4所示，上述对每个待识别的样本进行Gabor变换，包括：

步骤301：将每个待识别的样本转化为对应的二维矩阵。

将待识别的样本以二维矩阵表示，二维矩阵是指待识别的样本图像中每个像素的灰度值以矩阵的一个值来表示。

步骤302：对每个二维矩阵进行二值化。

对二维矩阵进行二值化是指通过一定的规则使用0或1代替二维矩阵中所有的值，即二维矩阵中的元素值大于127的设置为1，小于127的设置为0，此处为了减小Gabor变换的计算量，将0和1的进行取反。

步骤303：使用不同频率f和方向θ的Gabor变换函数对二值化后的每个二维矩阵分别做二维卷积运算得到f×θ个结果矩阵，Gabor变换函数为$>G(x,y)=\frac{f^2}{\pi \gamma \eta }\exp (-\frac{x^{\prime 2}+{\gamma }^2{y}^{\prime 2}}{2{\delta }^2})\exp (j2{\mathrm{\pi fx}}^{\prime }+\phi ),$>其中，$>\begin{array}{c}{x}^{\prime }=xcos\theta +ysin\theta \\ y^{\prime }=-x\sin \theta +y\cos \theta \end{array},$>f为Gabor变换函数中正弦曲线的频率，θ为Gabor变换函数的方向，φ为相位差，δ为高斯函数的标准差，γ为空间比例常数。

在本实施例中，采用的Gabor变换函数有以下两种组合，一种是5×8，即采用5种不同的频率和8种不同的方向共40种Gabor变换函数对二维矩阵数据进行处理，其中5种不同的频率为8种不同的方向为[1,2,3,4,5,6,7]÷8×π。另外一种是15×8，即采用15种不同的频率和8种不同的方向共120种Gabor变换函数对二维矩阵数据进行处理，其中15种不同的频率为8种不同的方向为[1,2,3,4,5,6,7]÷8×π。本实施例采用二维卷积运算即为加窗傅立叶变换，窗口函数即是高斯函数，它可以在频域不同尺度、不同方向上提取相关的特征，与人眼的生物作用相仿，在纹理识别上具有较好的效果。

进一步地，提取Gabor变换之后的每个所述待识别的样本的特征，包括：将上述f×θ个结果矩阵转化为f×θ个一维向量，对f×θ个一维向量分别求均值和方差得到f×θ个均值和f×θ个方差，将f×θ个均值和/或f×θ个方差作为提取的一个待识别的样本的特征。

具体的，依据Gabor变换得到的结果，将其转换成一维向量，然后求该一维向量的均值和方差，作为一个待识别的样本的特征，在使用分类器分类的时候可以全部使用，即均值和方差都作为特征值，也可以使用它们中的任何一个，即只使用均值或者只使用方差。Gabor变换函数的一组频率f和方向θ参数对应一次变换，得到一个二维矩阵结果，因此一个待识别的样本得到的特征向量的维数为：频率(f)组数×方向(θ)组数×特征向量个数(均值、方差)，一个待识别的样本对应一个特征向量。

图5为Gabor变换函数的具体波形图，如图5所示，对待识别的样本进行5种频率和8种方向(5×8)大小为39×39的Gabor变换可以得到40个结果矩阵，对得到的结果矩阵求均值和方差，作为一次变换的特征值。一个待识别的样本对应一个特征向量，在本发明提供的一个实施例中，提取了均值和方差两个特征值，采用了5×8种Gabor变换，因此得到特征向量的维数为5×8×2＝80。

本实施例中，对一个待识别的样本采用不同频率和方向的Gabor变换得到的结果矩阵求均值和方差，作为提取的一个特征向量的特征，一个特征向量由多个特征值组成，可以反映待识别的样本的丰富稳定的特征，因此为后续的识别准确率奠定基础。

进一步地，在实施例三的基础上，将N张原始眼动轨迹图的特征输入到分类器，获取识别结果，包括：从N张原始眼动轨迹图的M个待识别样本的M个特征向量中随机抽取m个特征向量作为训练样本，(M-m)个特征向量作为测试样本，使用训练样本对分类器进行训练，将测试样本的特征输入训练好的分类器，获取识别结果，一个待识别的样本对应一个特征向量，m为大于等于1的整数。

具体的，使用分类器对提取的特征进行分类包括：从每个人多个待识别样本的特征向量中随机抽取一定的比例作为训练样本，其余的作为测试样本；使用训练样本对分类器进行训练；使用分类器对测试样本进行识别，其中，一个待识别的样本对应一个特征向量。在本发明的一个实施例中，一个人共有4个特征向量，因此我们随机抽取了一个特征向量作为测试样本，其余3个为训练样本。

本应用实例所用的数据来自数字搜索测试的23名被试，每名被试进行40次数字搜索测试，每9次测试组合成3×3的一个待识别的样本，因此共有23×4个待识别的样本，得到23×4个特征向量。每次从得到的每个被试的4个特征向量中随机抽取一个作为测试样本，其他3个作为训练样本，使用支持向量机方法把抽取到的23个特征向量进行分类，23个被试所对应的特征向量所对应的类别分别是1，2，3……23，能够分到其对应的被试类中则为正确分类。重复进行20次分类测试的分类正确率如表1所示：

表1

0.6956520.739130.7826090.739130.8260870.739130.7826090.6521740.6521740.6956520.8695650.6956520.6956520.8260870.8260870.6521740.6956520.8695650.9130430.608696

表1分类平均正确率为：0.7478。

在另外一个应用实例中，我们尝试对心理旋转测试的眼动轨迹图进行了识别。采用同样的Gabor变换参数，其分类正确率如表2所示：

表2

0.5652170.4782610.5652170.5652170.6086960.6956520.6956520.4347830.5217390.5652170.5652170.5217390.4782610.6956520.739130.6086960.6086960.5217390.5652170.565217

平均识别正确率为：0.5783。

在另外一组测试中，我们尝试了另外一组Gabor变换参数，即对待识别的样本进行15种频率和8种方向(15×8)的Gabor变换，得到的特征向量维数为15×8×2＝240。同样重复20次测试，其识别结果如表3所示：

表3

0.7894740.8947370.8421050.8947370.8947370.8421050.8947370.8421050.8947370.7894740.7894740.8421050.8421050.8947370.9473680.7894740.9473680.7894740.7894741

分类平均正确率为：0.8605。

在最后一次分类时，其分类正确率达到了1，这说明随着提取的特征值的增加，所有的测试样本都被正确的分类了。因此，本实施例的眼动轨迹识别方法，对不同应用实例的测试样本均具有较高的识别准确率，随着提取的样本的特征值的增加，其识别准确率增加。

进一步地，不同频率的特征值对分类的结果的影响是不同的，图6为不同频率特征值对应的识别正确率的差值，如图6所示，该图主要是为了说明不同频率的特征值对识别正确率的贡献不同。Y轴中的识别正确率差值是指使用所有频率特征值进行分类的识别正确率减去使用缺少一种频率特征值进行分类的正确率。Y值大于0，说明有该频率特征值要比没有该频率特征值的分类效果好。另外，测试样本量和眼动数据的精确度也会影响分类结果。

图7是本发明基于纹理特征的眼动轨迹识别装置实施例一的结构示意图，如图7所示，该装置包括：

获取模块41，用于眼动仪记录的N张原始眼动轨迹图，N为大于等于1的整数；

特征提取模块42，用于提取N张原始眼动轨迹图的特征；

识别模块43，用于将N张原始眼动轨迹图的特征输入到分类器，获取识别结果。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8是本发明基于纹理特征的眼动轨迹识别装置实施例二的结构示意图，如图8所示，特征提取模块42包括：

图片处理单元421，用于将N张原始眼动轨迹图组合成M个待识别的样本，其中，每个待识别的样本中包含L×L张原始眼动轨迹图，L为大于等于1的整数，M为大于等于1的整数，且L×L×M的积小于等于N；

提取单元422，用于提取每个待识别的样本的特征。

本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

进一步地，图片处理单元421具体用于从N张原始眼动轨迹图中确定L×L×M张原始眼动轨迹图；对L×L×M张原始眼动轨迹图按照L×L的分布方式组合成M个待识别的样本。其实现原理和对应的方法类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。