基于计算机视觉的眼动模式数据自动获取方法

摘要

本发明公布一种基于计算机视觉的眼动模式数据自动获取方法，该方法将眼动模式数据获取过程分为学习阶段和测试阶段，在学习阶段得到受试者注视模型，在测试阶段得到受试者眼动特征；具体地，通过受试者注视计算机屏幕；由操作者对受试者作初步判断确定程序运行参数并输入到计算机中；在学习阶段获得受试者单眼的注视模型，建立分类器h；在测试阶段，得到受试者在每一特定频率的光栅刺激时的眼动特征作为受试者的测试样本集；利用分类器h对测试样本集进行SVM分类预测得到预测值，进行对比得到受试者的眼动模式数据。该方法能降低获取眼动模式数据的成本，提高数据获取效率和准确率。

说明书

技术领域

本发明属于计算机视觉领域，涉及一种自动的人脸人眼位置识别和眼动特征数据获取方 法，尤其涉及一种基于计算机视觉的眼动模式数据自动获取方法。

背景技术

眼动(眼睛运动)模式能够为视觉加工提供大量信息。在实际应用中，例如，针对不具 备完整语言表达和肢体表达能力、智力及识别力发育水平低而注意力不能较长时间保持集中 的人群如婴幼儿进行视力筛查时，需要获得其眼动模式数据。目前，针对这种情况，眼动模 式数据的获取通常采用优先注视法，该方法需要检查者向受试者展示光栅纸板，通过纸板中 的小孔观察受试者眼睛或头的转动方向，来判断其与纸板上的光栅图案正确与否，从而得到 受试者的眼动模式数据，该过程是人工进行的，不能通过计算机方法来自动的进行判断，因 此十分费时费力。其他的方法还包括视动性眼震、视觉诱发电位等方法，但因大部分检查方 法操作更加困难繁琐，一直难以普及。因此，现行的眼动模式数据获取方法不能实现自动化， 数据获取效率低下，获取数据的准确率不高，难以做到合理、快捷地得到眼动模式数据结果。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于计算机视觉的眼动模式数据自动获 取方法，该方法利用计算机视觉知识，通过机器学习建立受试者的注视模型，再对受试者在 测试阶段的眼动特征进行预测，从而自动获得受试者的眼动模式数据。该方法能够降低获取 眼动模式数据的成本，提高数据获取效率，保证获得数据的准确率。

本发明提供的技术方案是：

一种基于计算机视觉的眼动模式数据自动获取方法，该方法将眼动模式数据获取过程分 为学习阶段和测试阶段，通过在学习阶段得到的受试者注视模型对在测试阶段得到的受试者 眼动特征进行预测，获取受试者的眼动模式数据，包括如下步骤：

1)布置眼动模式数据获取环境，保证在整个眼动模式数据获取过程中，受试者只能注 视计算机屏幕；

2)由操作者对受试者作初步判断确定程序运行参数并将程序运行参数输入到计算机中； 程序运行参数包括眼动模式数据获取过程中所呈现光栅刺激的光栅顺序模式、所测 试的单眼类型和采集图像的时间间隔；呈现光栅刺激的光栅顺序模式为多种，每种 光栅顺序模式包括多个特定频率的光栅刺激；所测试的单眼类型包括左眼或右眼；

3)在学习阶段，计算机根据程序运行参数呈现图片，同时标定图片呈现的位置为左或 右，依次通过识别受试者的人脸人眼位置、进行特征提取和SVM(Support Vector  Machine支持向量机)学习得到受试者单眼的注视模型，建立分类器h；

4)在测试阶段，计算机根据程序运行参数呈现光栅刺激，同时标定得到每一特定频率 的光栅刺激的位置作为真实值，通过人眼人脸位置识别得到受试者在每一特定频率 的光栅刺激的注视时段的人脸人眼位置，再通过进行特征提取得到受试者在每一特 定频率的光栅刺激时的眼动特征，作为受试者的测试样本集；

5)利用步骤3)建立的分类器h对步骤4)中的测试样本集进行SVM分类预测得到预 测值，将此预测值与步骤4)中的真实值进行对比，得到受试者注意到的光栅顺序模 式中光栅刺激的最高频率，作为受试者的眼动模式数据。

上述基于计算机视觉的眼动模式数据自动获取方法，在步骤5)得到受试者眼动模式数 据之后，操作者根据得到数据的情况，可以重新进行步骤2)～步骤5)的过程，此过程中步 骤2)采用的程序运行参数可以与上一过程的步骤2)中的程序运行参数相同；也可以选择比 上一过程的步骤2)中光栅频率更高的一组程序运行参数进行，即此过程采用的程序运行参 数中呈现光栅刺激的光栅顺序模式为比上一过程中的光栅频率更高的光栅顺序模式；或者采 用的程序运行参数中所测试的单眼类型与上一过程中所测试的单眼类型不同。

上述基于计算机视觉的眼动模式数据获取方法中，进一步地，

步骤1)所述运行环境应为安静、黑暗的环境，受试者的眼睛与屏幕中心保持水平。在 本发明实施例中，受试者为婴幼儿，由家长抱着坐在计算机屏幕前，使得受试者的眼睛与屏 幕中心水平。

步骤2)中的程序运行参数还包括受试者图像数据的文件名、测试开始的光栅序号、测 试结束的光栅序号、每一个光栅呈现过程中的初始帧序号、每一个光栅呈现过程中的结束帧 序号和PCA(Principal Component Analysis，主成分分析)降维后的维数。

步骤2)所述的呈现光栅刺激的光栅顺序模式包括多种模式，每种模式对应不同年龄和 不同视力情况的受试者，均分为10个频率段；频率段对应包括的特定频率为逐渐增加，每一 特定频率的光栅刺激都有回溯，以保证眼动模式数据获取的准确率。在本发明实施例中，所 呈现光栅刺激的光栅顺序模式为三种，光栅刺激的频率逐渐增加，每一特定频率的光栅刺激 都有回溯，以保证眼动模式数据获取的准确率，其中：模式1的10个特定频率对应的频率(周 期/厘米)依次为：0.32，0.32，0.64，0.64，1.29，1.29，2.28，2.28，5.14，5.14，适合0～2 岁或2岁以上视力明显有障碍的婴幼儿；模式2的10个特定频率对应的频率(周期/厘米) 依次为：0.43，0.43，0.86，0.86，1.58，1.58，3.43，3.43，6.85，6.85，适合1～3岁或3岁以 上视力明显有障碍的婴幼儿；模式3的10个特定频率对应的频率(周期/厘米)依次为：2.28， 2.28，5.14，5.14，10.28，10.28，13.71，13.71，20.56，20.56，适合2岁以上的婴幼儿。采 用不同的光栅顺序模式便于简化数据获取过程，由于操作者可以通过年龄等因素对婴幼儿受 试者的视觉大体状况做出预估，通过选用合适的光栅顺序模式就能迅速的得到婴幼儿受试者 的眼动模式数据。

步骤3)根据程序运行参数呈现动画图片，具体是按先左后右的顺序呈现多次，相邻两 次图片呈现之间留有时间间隔，图片呈现时伴有声音提示；同时标定图片呈现的位置为左或 右。步骤3)中的分类器h具体是根据标定图片的位置和受试者的单眼注视模型，通过SVM 学习训练得到，包括受试者单眼向左看和向右看的注视模型。

步骤4)中根据程序运行参数呈现光栅刺激具体是左右随机出现，两次光栅刺激呈现之 间留有时间间隔；即将要呈现光栅刺激时，播放一段声音，用于吸引受试者的注意。

步骤3)学习阶段和步骤4)测试阶段中识别受试者的人脸人眼位置具体都是采用基于 haar特征的分类器，对图像的指定区域进行人脸和人眼检测，未检测到则补全或报告错误。

步骤3)学习阶段和步骤4)测试阶段中的特征提取都包括灰度直方图计算和PCA降维； 其中，灰度直方图计算通过分区块的灰度直方图算法，在利用颜色信息的同时描述眼睛虹膜 的位置信息，该分区块的灰度直方图计算方法包括如下步骤：

A.首先，得到眼睛检测框，将其按横坐标等分分割成m个区块；

B.其次，针对分割得到的m个区块中的每个区块，统计计算出该区块的直方图特征向 量；

C.最后，将所有m个区块的直方图特征向量按顺序合并得到最终向量。

其中，m为整数，取值为17～30。优选地，m取值为20。

眼动模式数据获取方法在学习阶段和测试阶段进行特征提取采用时序轨迹，用一段时间 上的特征序列来判断和分类受试者的视觉朝向，通过这种方法得到的特征向量维度非常大， 所含的冗余信息也很多，需要通过PCA降维后得到受试者在每一特定频率的光栅刺激时的眼 动特征。因此，步骤3)学习阶段和步骤4)测试阶段中的特征提取还包括对得到的每个区块 的灰度直方图特征向量进行PCA降维，用于去除通过分区块的灰度直方图计算方法得到的各 区块灰度直方图特征向量所含的冗余信息。

上述步骤4)测试阶段中得到受试者在每一特定频率注视时段的眼动特征的方法具体包 括如下步骤：

a)通过摄像头得到的呈现每一特定频率的光栅刺激时受试者的注视画面图片，检测得 到受试者的脸部和眼部区域位置；

b)根据眼部位置提取灰度直方图特征向量；

c)对得到的每一特定频率注视阶段的所有图片的灰度直方图特征向量进行PCA降维， 得到每一特定频率注视时段受试者的眼动模式。

步骤5)中进行对比得到的数据包括受试者单眼注意到的光栅刺激频率和没有注意到的 光栅刺激频率；当受试者有多次没有注意到某一光栅顺序模式中的光栅刺激时，依照其注意 到的光栅顺序模式中的光栅刺激的最高频率作为受试者的眼动模式数据结果；当受试者全部 注意到了某一光栅顺序模式中的光栅刺激，则依照该光栅顺序模式中的光栅刺激的最高频率 作为受试者的眼动模式数据结果。

本发明的原理是：将眼动模式数据获取过程分为学习阶段和测试阶段两个阶段。将学习 阶段计算机摄像头实时采集的受试者眼动图像作为学习样本集，利用学习样本集通过SVM分 类方法训练得到该受试者的注视模型(眼动模式)，建立分类器；再将测试阶段计算机摄像头 实时采集的受试者眼动图像作为测试样本集，分类器根据测试阶段得到的每一特定频率注视 时段受试者的眼动特征，对受试者在每个特定频率的光栅呈现时段的眼动图像进行分类预测， 得到每一时段受试者的眼动模式的预测值(即向左看或向右看)，而计算机程序运行时会记录 下每一特定频率注视阶段光栅图像呈现的真实值(即出现在左或右)，将预测值与真实值进行 比较，判断受试者是否正确地注意到屏幕上的光栅图，即可得到受试者在哪些时段没有注意 到光栅刺激，或者是全都注意到了光栅刺激，从而获得受试者单眼注视或没有注视到哪一个 频率的光栅图的眼动模式数据。

与现有技术相比，本发明的有益效果是：

相比现有的人工获取眼动模式数据的方法，本发明提供的基于计算机视觉的眼动模式数 据自动获取方法能够自动得到眼动模式数据，节省了在眼动模式数据获取上耗费大量的人工 劳力，提高了眼动模式数据获得的效率，既解决了人工获取眼动模式数据的效率低下问题， 降低人工获得眼动模式数据的成本，又节约了获取眼动模式数据的时间，还有效地保证了获 取眼动模式数据的准确率。

附图说明

图1是本发明实施例中的婴幼儿受试者眼动模式数据获取方法的流程框图。

图2是本发明实施例中计算机屏幕显示的光栅刺激样例。

图3是本发明实施例中婴幼儿眼动模式数据获取方法眼部检测框架的示意图，

其中，(a)为检测到的眼部区域；(b)为分割为m块的眼部区域；(c)为分别计算得出m 块眼部区域的灰度直方图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本实施例中，受试者为由家长抱着的婴幼儿，操作者为实施本发明提供的基于计算机视 觉的婴幼儿眼动模式数据获取的测试者，图1是本实施例中的婴幼儿受试者眼动模式数据获 取方法的流程框图，具体包括以下步骤：

1)布置环境：将计算机置于桌面上，屏幕中心高度为100～150厘米，桌前放置好座位，让 家长抱着受试者正面朝计算机屏幕坐下，调节座位高度，使受试者的眼睛与屏幕中心成 水平对齐，距离为55厘米。周围保持安静、黑暗，没有多余的引起受试者注意的物品， 使受试者只能注意到计算机屏幕。整个过程中保证家长不要对受试者做出任何的指示。

2)由操作者对受试者进行初步判断，输入程序运行参数，包括：受试者图像数据的文件名、 测试开始的光栅序号、测试结束的光栅序号、每一个光栅呈现时间中的初始帧序号、每 一个光栅呈现时间中的结束帧序号、PCA降维后的维数、测试眼睛类型(左眼或右眼) 以及呈现光栅图的顺序模式。呈现光栅图的顺序模式有3种，模式1、2和3，光栅刺激 的频率逐渐增加，每一特定频率的光栅刺激都有回溯，以保证数据获取的准确率，不同 模式对应不同年龄以及不同视力情况的婴幼儿，选择哪一种模式由操作者事先确定，其 中：模式1分为10个频率阶段，对应的频率(周期/厘米)为：0.32，0.32，0.64，0.64， 1.29，1.29，2.28，2.28，5.14，5.14，适合0～2岁或2岁以上视力明显有障碍的婴幼儿； 模式2分为10个频率阶段，对应的频率(周期/厘米)为：0.43，0.43，0.86，0.86，1.58， 1.58，3.43，3.43，6.85，6.85，适合1～3岁或3岁以上视力明显有障碍的婴幼儿；模式3 分为10个频率阶段，对应的频率(周期/厘米)为：2.28，2.28，5.14，5.14，10.28，10.28， 13.71，13.71，20.56，20.56，适合2岁以上的婴幼儿。

3)在学习阶段，计算机程序根据输入参数，识别受试者的人脸人眼位置，进行特征提取， 通过SVM(Support Vector Machine支持向量机)学习得到受试者单眼的眼动模式，建立分 类器h，具体过程为：

A.在屏幕上呈现能吸引受试者的动画图片，按先左后右的顺序出现多次，同时标定 图片的左右位置；相邻两次图片出现之间留有时间间隔，图片出现时伴有声音提示；

B.通过特征提取得到受试者的眼动模式；特征提取包括灰度直方图计算和PCA降维；

C.由上述标定的图片的左右位置和对应的受试者的眼动模式通过SVM学习训练出分 类器h，该分类器h包括受试者向左看和向右看的眼动模式；

4)在测试阶段，根据输入参数呈现光栅刺激，同时标定得到光栅的左右位置作为真实值， 得到受试者的测试样本集：

A.在计算机屏幕上呈现如图2所示的光栅刺激，左右随机出现，两次刺激出现之间留 有时间间隔；

B.即将要出现光栅刺激时，播放一段声音，吸引受试者的注意；

C.光栅刺激的频率逐渐增加，每一特定频率的光栅刺激都会有回溯，保证眼动模式数 据获取的准确率；

D.根据摄像头得到的呈现每一特定频率的光栅刺激时受试者的注视画面，通过计算得 到受试者在每一特定频率的光栅刺激时的眼动特征，作为测试样本集，具体过程主要包括人 眼人脸位置识别、特征提取(包括灰度直方图计算和PCA降维)以及SVM分类；

5)利用学习阶段建立的分类器h对包括受试者在每一特定频率的光栅刺激时的眼动特征的 测试样本集进行预测得到预测值，将预测值与光栅的左右位置真实值进行对比，得到受 试者单眼注视或没有注视到哪一个频率的光栅图，作为受试者单眼的眼动模式数据结果。

上述基于计算机视觉的眼动模式数据获取方法中，学习阶段和测试阶段识别受试者的人 脸人眼位置具体是采用基于Harr特征的分类器，对图象的指定区域进行人脸和人眼位置识别。 学习阶段和测试阶段的特征提取都包括灰度直方图计算和PCA降维；图3是受试者眼动模式 数据获取方法中眼部检测框架示意图，其中，(a)为检测到的眼部区域；(b)为分割为m块的 眼部区域；(c)为分别计算得出m块眼部区域的灰度直方图，如图3所示，采用分区块的灰度 直方图算法，在利用颜色信息的同时很好地描述眼睛虹膜的位置信息，该分区块的灰度直方 图计算方法包括如下步骤：

A.首先，得到眼睛检测框，将其按横坐标等分分割成m个区块；

B.其次，针对分割得到的m个区块中的每个区块，统计计算出该区块的直方图特征向 量；

C.最后，将所有m个区块的直方图特征向量按顺序合并得到最终向量。

其中，m取值为20。

基于计算机视觉的眼动模式数据获取方法在学习阶段和测试阶段进行特征提取采用时序 轨迹，用一段时间上的特征序列来判断和分类受试者的视觉朝向，通过这种方法得到的特征 向量维度非常大，所含的冗余信息也很多，需要通过PCA降维后得到受试者在每一特定频率 的光栅刺激时的眼动特征。本发明提供的基于计算机视觉的眼动模式数据获取方法在完成上 述步骤之后，视结果的不同情况，操作者可以进行进一步的测试：包括再次重复此次测试、 选择高频率的光栅刺激的模式进行测试，或者进行另一只眼睛的测试，以此来得到更全面的 眼动模式数据结果。

根据本发明提供方法进行基于计算机视觉的眼动模式数据获取方法，得到的数据可以报 告受试者在哪些阶段没有注意到光栅刺激，或者是全都注意到了光栅刺激，当受试者有多次 没有注意到光栅刺激时，应该依照其注意到的最高频率的光栅刺激作为受试者的眼动模式数 据；当受试者全部注意到了光栅刺激，则应该依照此模式中的最高频率的光栅刺激作为受试 者的眼动模式数据。