通过眼动跟踪技术进行功能键操作的方法和装置

摘要

本发明公开了一种通过眼动跟踪技术进行功能键操作的方法和装置，涉及移动终端应用领域。本发明利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别眼部区域，在眼部区域中定位出眼球区域，根据各帧图像中定位出的眼球区域，建立眼部运动轨迹，将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作，例如电话呼出功能，本发明不同于传统拨号方式，是一种全新的用户体验，并且拨号效果不受噪杂环境的影响，适用于不能发出声音的特定人群和上肢行动不便的特定人群，提供人道主义便利，增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。

说明书

技术领域

本发明涉及移动终端应用领域，特别涉及一种通过眼动跟踪技术 进行功能键操作的方法和装置。

背景技术

电话拨号功能是手机等移动终端经常使用的基本功能之一。传统 的电话拨号方式包括键盘按键式拨号、触摸菜单式拨号、语音识别拨 号等方式。

传统的电话拨号方式对于特定场景、或者特定人群来说不能实使 用或效果较差。例如，语音识别拨号方式在噪杂环境下语音识别率差， 不能发出声音的特定人群甚至无法使用语音识别拨号方式。再例如， 对于上肢残障人士、自理能力差的老人等特殊人群，无法使用键盘按 键式拨号或触摸菜单式拨号。

另外，传统的电话拨号方式给用户千篇一律的体验，感知度较差， 用户黏着性较差。

鉴于以上原因，有必要提出一种实用的、有特色的通信技术，可 以适用于特定场景或特定人群，增加户的黏着性，为运营商提供差异 化营销、发展和保留用户资源的有效手段。

发明内容

本发明实施例所要解决的一个技术问题是：提出一种实用的、有特 色的电话拨号方式。

根据本发明实施例的一个方面，提出一种通过眼动跟踪技术进行功 能键操作的方法，包括：利用移动终端的前置摄像头采集人脸图像；通 过边缘检测方法在人脸图像中识别眼部区域；在眼部区域中定位出眼球 区域；根据各帧图像中定位出的眼球区域，建立眼部运动轨迹；将眼部 初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定 用户注视的功能键，按照用户注视的功能键进行相应的功能操作。

根据本发明实施例的另一方面，提出一种通过眼动跟踪技术进行功 能键操作的装置，包括：图像采集模块，用于利用移动终端的前置摄像 头采集人脸图像；眼部识别模块，用于通过边缘检测方法在人脸图像中 识别眼部区域；眼球定位模块，用于在眼部区域中定位出眼球区域；眼 部轨迹建立模块，用于根据各帧图像中定位出的眼球区域，建立眼部运 动轨迹；通信模块，用于将眼部初始位置与移动终端屏幕中的预设位置 相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功 能键进行相应的功能操作。

本发明利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别 眼部区域，在眼部区域中定位出眼球区域，根据各帧图像中定位出的眼 球区域，建立眼部运动轨迹，将眼部初始位置与移动终端屏幕中的预设 位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视 的功能键进行相应的功能操作，例如电话呼出功能，这种使用眼动跟 踪技术进行功能键操作的方法不同于传统拨号方式，可以为用户提供 全新的体验，并且拨号效果不受噪杂环境的影响，可以适用于不能发 出声音的特定人群以及上肢行动不便的特定人群，为这些特定人群提 供人道主义便利，从而增加用户的黏着性，为运营商提供差异化营销、 发展和保留用户资源的有效手段。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明 的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将 对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见 地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技 术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获 得其他的附图。

图1为本发明通过眼动跟踪技术进行功能键操作的方法一个实施 例的流程示意图。

图2为本发明通过眼动跟踪技术进行功能键操作的方法另一实施 例的流程示意图。

图3为本发明通过眼动跟踪技术进行功能键操作的装置一个实施 例的结构示意图。

图4为本发明通过眼动跟踪技术进行功能键操作的装置另一实施 例的装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实 施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实 际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限 制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来，面部识别与眼动跟踪技术不断发展，随着智能手机的普及， 前置摄像头和大屏幕已成为移动终端的主流配置，因此，本发明提出一 种通过眼动跟踪技术进行功能键操作的技术。

图1为本发明通过眼动跟踪技术进行功能键操作的方法一个实施 例的流程示意图。

如图1所示，本实施例的通过眼动跟踪技术进行功能键操作的方法 包括以下步骤：

步骤S101，利用移动终端的前置摄像头采集人脸图像；

具体地，可以采用人脸特征点识别算法、神经网络识别算法、模 版识别算法、整幅人脸图像识别算法等公知算法来识别人脸。

步骤S102，通过边缘检测方法在人脸图像中识别眼部区域；

一种示例性的实施方式为：计算人脸图像数据的亮度梯度；按照 模值最大的亮度梯度的一定比例，确定门槛下限；以模值最大的亮度 梯度对应的像素为开始点，逐点跟踪边缘路径，当亮度大于或等于门 槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下限时停止 记录。

步骤S103，在眼部区域中定位出眼球区域；

一种示例性的实施方式为：以最高的梯度幅值作为阈值，寻找瞳 孔区域的线段；以瞳孔为圆心，根据瞳孔周边像素的差异定位出眼球 区域。

进一步地，为了减少干扰，还可以对识别出的眼部区域图像进行 滤波；和/或通过计算梯度幅值，确定脸部图像各点邻域强度的变化值， 将邻域强度变化值大于预设范围的点突显出来。

步骤S104，根据各帧图像中定位出的眼球区域,建立眼部运动轨迹；

一种示例性的实施方式为：将眼部区域图像缩小为预设尺寸；简 化眼部区域图像的色彩，转换为预设级数的灰度图像；从灰度图像中 确定差异点，并记录差异点的位置信息，包括差异点的坐标、差异点 在水平方向和竖直方向的距离、以及两个差异点之间的夹角和距离； 根据差异点的位置信息，确定眼部运动轨迹。

步骤S105，将眼部初始位置与移动终端屏幕中的预设位置相对应， 根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行 相应的功能操作。

在按照用户注视的功能键进行相应的功能操作时，判断用户注视 功能键的时间是否达到预设时间，如果用户注视功能键的时间达到预 设时间，再按照用户注视的功能键进行相应的功能操作。

图2为本发明通过眼动跟踪技术进行功能键操作的方法另一实施 例的流程示意图。

如图2所示，本实施例的通过眼动跟踪技术进行功能键操作的方法 包括以下步骤：

步骤S201，利用移动终端的前置摄像头采集人脸图像，并识别人脸。

具体地，可以采用人脸特征点识别算法、神经网络识别算法、模 版识别算法、整幅人脸图像识别算法等公知算法来识别人脸。

由于人类的脸、眼部器官的结构外形都很相似，通过人脸就能找 出眼部大致区域。但是，眼轮匝肌等肌肉群运动导致的眨眼、瞪眼等 表情，以及不同的拍摄角度、不同背景光照条件，以及使用者佩戴口 罩、眼镜、头发、胡须等，都会影响眼球运动捕捉的效果。因此，本 发明提出边缘检测法进行局部图像处理，标识出数字图像中亮度变化 明显的点，以更好地反映出眼部运动的实际变化。

步骤S202，通过边缘检测方法在人脸中识别眼部区域，从而圈出 眼部肌肉群对象与背景间的交界线。具体可以采用以下步骤实现：

（1）计算人脸图像数据的亮度梯度；

具体地，可以通过亮度变化的一阶导数求导来获得亮度梯度，例 如可以采用如下公式计算：

I′(x)=-1/2×I(x-1)+0×I(x)+12×I(x+1)

其中，I(x)表示像素点x的亮度，I′(x)表示像素点x的亮度的一阶 导数（或称亮度梯度）。

（2）按照模值最大的亮度梯度的一定比例，确定门槛下限；

（3）以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘 路径，当亮度大于或等于门槛下限时一直记录眼部区域边缘位置，直 到亮度小于门槛下限时停止记录。

上述边缘检测方法认为边缘是连续的界线，能够跟踪到眼部运动 变化细节，而不会将图像中的噪声点标记为边缘，也不会将有用信号 过滤掉。

步骤S203，由于识别眼部区域过程中的导数计算对噪声很敏感， 为了改善与噪声相关的边缘检测性能，可以对识别出的眼部区域图像 进行滤波，减少实际拍摄中抖动、光线等因素的干扰，突显出眼部区 域特征，达到增强边缘和降低噪声的折中；

具体的，滤波采用的滤波函数如下：

$f\left(x\right)=\frac{I_r-I_l}{2}(\mathrm{erf}\left(\frac{x}{\sqrt{2}\sigma }\right)+1)+I_l$

其中，I_l表示边界的左侧亮度，I_r表示边界的右侧亮 度，σ表示边缘模糊度。

代入滤波的卷积公式，写为f=g_σ×u，g_σ是标准偏差，σ是高斯核， u是阶跃函数：

$u\left(x\right)=\left(\left(\begin{array}{cc}{I}_l,& x\le 0\\ I_r,& x>0\end{array}\right)\right)$

步骤S204，为了突出眼部区域像素，进一步排除抖动、光线等因 素的干扰，通过计算梯度幅值，确定脸部图像各点邻域强度的变化值， 将邻域强度值有显著变化的点（即邻域强度变化值大于预设范围的点） 突显出来。

具体可以采用以下公式进行增强：

$h\left(x\right)=\int p(x-y)\times g\left(y\right)d_y^2$

其中，h（x）表示增强图像中每个像素的图像，x表示当前图像 中的任意一个像素，y表示历史图像中的任意一个像素，p函数表示当 前图像中每个像素的图像数据，g函数表示历史图像中每个像素的图 像数据。

步骤S205，以最高的梯度幅值作为阈值，寻找瞳孔区域的线段。

步骤S206，以瞳孔为圆心，根据瞳孔周边像素的差异（以瞳孔为 圆心的瞳孔、虹膜、睫状环组织的亮度低，较之圆心外球结膜、巩膜、 巩膜静脉窦组织即“眼白”的亮度高），定位出眼球区域。

步骤S207，根据各帧图像中定位出的眼球区域，建立眼部运动轨 迹。

一种示例性的建立眼部运动轨迹的方法如下：

（1）缩小尺寸，例如将双眼区域缩小为两个8×8尺寸的图像， 总共128像素。将眼部区域图像缩小为固定尺寸，一方面可以加快眼 部运动轨迹的建立速度，另一方面可以摒弃不同CCD（电荷耦合元件） 成像像素、不同比例带来的图片差异。去除图片细节，可以保留结构、 明暗等基本信息。

（2）简化色彩，转换为灰度图像，例如可以转为64级灰度图像。 转换成64级灰度图像之后，单眼区域所有像素点最高只有64种颜色。

（3）确定差异点；

一种方法是，比较前后帧图像中相同位置的像素灰度，如果当前 帧图像中某一位置的像素灰度大于或等于其前一帧图像中相同位置的 像素灰度，则记为一个差异点，可以用1表示，如果当前帧图像中某 一位置的像素灰度小于其前一帧图像中相同位置的像素灰度，则不是 一个差异点，可以用0表示；

另一种方法是，在比较前后帧图像中相同位置的像素灰度的基础 上，还与之前的历史帧图像中相同位置的平均像素灰度进行比较，具 体的，如果当前帧图像中某一位置的像素灰度大于或等于其前一帧图 像中相同位置的像素灰度，并且大于或等于历史帧图像中相同位置的 平均像素灰度，则记为一个差异点，否则，不是差异点，记为0。需 要说明的是，历史帧的帧数量可以根据实际需求或经验灵活设定。

（4）记录差异点的坐标、差异点在水平方向和竖直方向的距离、 以及两个差异点之间的夹角和距离等位置信息；

（5）根据差异点的位置信息，就可以得到眼部运动轨迹。

步骤S208，将眼部初始位置与移动终端屏幕的中心位置相对应， 根据眼部运动轨迹确定用户注视的功能键（用户注视的功能键也即用 户欲操作的功能键），按照用户注视的功能键进行相应的功能操作。

进一步地，为了消除误操作，例如目光划过功能键而非欲操作该 功能键等误操作，可以设定注视时间，例如1秒，如果用户注视功能 键的时间达到或超过1秒的时间，再按照用户注视的功能键进行相应 的功能操作。

其中，功能键相应的功能操作例如可以是手机菜单切换、数字键 按键、呼叫键、挂机键、回退键、菜单弹出、滑动块移动等呼叫相关 操作。

图3为本发明通过眼动跟踪技术进行功能键操作的装置一个实施 例的结构示意图。

如图3所示，本实施例的通过眼动跟踪技术进行功能键操作的装置 包括：

图像采集模块，用于利用移动终端的前置摄像头采集人脸图像；

眼部识别模块，用于通过边缘检测方法在人脸图像中识别眼部区 域；

眼球定位模块，用于在眼部区域中定位出眼球区域；

眼部轨迹建立模块，用于根据各帧图像中定位出的眼球区域，建 立眼部运动轨迹；

通信模块，用于将眼部初始位置与移动终端屏幕中的预设位置相 对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功 能键进行相应的功能操作。

其中，眼部识别模块，具体用于：

计算人脸图像数据的亮度梯度；

按照模值最大的亮度梯度的一定比例，确定门槛下限；

以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘路径， 当亮度大于或等于门槛下限时一直记录眼部区域边缘位置，直到亮度 小于门槛下限时停止记录。

其中，眼球定位模块，具体用于：

以最高的梯度幅值作为阈值，寻找瞳孔区域的线段；以瞳孔为圆 心，根据瞳孔周边像素的差异定位出眼球区域。

其中，眼部轨迹建立模块，具体用于：

将眼部区域图像缩小为预设尺寸；

简化眼部区域图像的色彩，转换为预设级数的灰度图像；

从灰度图像中确定差异点，并记录差异点的位置信息，包括差异 点的坐标、差异点在水平方向和竖直方向的距离、以及两个差异点之 间的夹角和距离；

根据差异点的位置信息，确定眼部运动轨迹。

如图4所示，该装置进一步还可以包括：

滤波模块，用于对识别出的眼部区域图像进行滤波，以减少干扰；

和/或

增强模块，用于通过计算梯度幅值，确定脸部图像各点邻域强度 的变化值，将邻域强度变化值大于预设范围的点突显出来。

其中，通信模块在按照用户注视的功能键进行相应的功能操作时 具体用于：判断用户注视功能键的时间是否达到预设时间，如果用户 注视功能键的时间达到预设时间，再按照用户注视的功能键进行相应 的功能操作。

本发明利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别 眼部区域，在眼部区域中定位出眼球区域，根据各帧图像中定位出的眼 球区域，建立眼部运动轨迹，将眼部初始位置与移动终端屏幕中的预设 位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视 的功能键进行相应的功能操作，例如电话呼出功能，这种使用眼动跟 踪技术进行功能键操作的方法不同于传统拨号方式，可以为用户提供 全新的体验，并且拨号效果不受噪杂环境的影响，可以适用于不能发 出声音的特定人群以及上肢行动不便的特定人群，为这些特定人群提 供人道主义便利，从而增加用户的黏着性，为运营商提供差异化营销、 发展和保留用户资源的有效手段。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可 以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程 序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是 只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包 含在本发明的保护范围之内。