视线追踪技术在人机交互中的应用

摘要

随着社会与科技的不断进步，智能化设备变成了人们的诉求。视线追踪技术目前应用广泛。视线追踪技术在人机交互中的研究是计算机视觉的一个热门研究课题，交互式应用可以通过某种方式响应用户的注视。交互式视线追踪技术适用于人机交互、视觉显示以及计算机图形学领域。我们这里是将视线的特征参数作为输入数据，进行应用。整个系统的研究主要包括人脸及人眼检测，瞳孔跟踪，视线方向的确立及鼠标控制信息生成。
　　本文使用基于AdaBoost的检测方法对脸部与眼睛特征进行定位;通过Haart特征弱分类器对脸部检测，眼睛的区域检测也使用AdaBoost算法来完成，眼睛区间滤波使用积分投影法，以此缩小眼睛区域范围，瞳孔的形状修复使用数学形态学开运算完成的。本文在屏幕两个角安装了近红外光源，因此在瞳孔区域内一定会检测测到两个普尔钦斑。对瞳孔中心检测，首先对瞳孔区域滤波、进行二值化;然后利用霍夫变换分割这些点，再用最小二乘法拟合各直线，最终算出瞳孔中心坐标。对普尔钦斑检测定位，使用Canny边缘检测算法对普尔钦斑轮廓进行检测，然后求出两个普尔钦斑的坐标。通过瞳孔中心和角膜反射中心的坐标可以计算出视线落点。
　　在检测得到瞳孔的基础上，进行下一帧瞳孔的追踪。本文采用粒子滤波与卡尔曼滤波组合的方法进行追踪。由粒子滤波完成下一帧图像中的瞳孔目标定位，然后在此位置精确分割瞳孔。对分割的瞳孔参数使用卡尔曼滤波来估计。最后视线方向估计采用一种完全依靠空间几何计算的方法实现用户视线落点运算的方法。由于角膜曲率中心和瞳孔中心在同光轴上，所以通过计算得到角膜曲率中心和虚瞳孔中心来确定光轴的空间方向;其次确定视轴，通过标定一个3*3的旋转矩阵M间接求得光轴和视轴的关系，以此确定视轴方向;最后利用算法求得视线和屏幕的交点，也就是注视点。
　　最终将得到的注视点应用于屏幕，以完成基本的控制鼠标操作，如鼠标左移，右移，打开文档，编译文档等。

目录

摘要

1 绪论

1．1 视线追踪技术研究目的与意义

1．2 视线追踪技术概述

1．2．1 视线追踪技术的基本参数

1．2．2 视线追踪技术测量方法

1．3 视线追踪的主要应用领域

1．4 国内外发展前景

1．5 研究内容

1．6 论文结构

2 系统设计基础

2．1 系统硬件结构

2．1．1 系统硬件介绍

2．1．2 系统的硬件结构

2．2 系统软件结构

2．3 本章小结

3 人脸及人眼检测

3．1 人脸检测方法

3．1．1 AdaBoost人脸特征检测算法原理

3．1．2 AdaBoost算法人脸检测的实现

3．2 基于AdaBoost人眼区域定位算法

3．2．1 亮暗瞳图像的判断

3．2．2 人眼定位

3．2．3 人眼区域滤波

3．2．4 积分投影法缩小眼睛检测区域

3．3 本章小结

4 视线参数检测

4．1 瞳孔中心检测

4．1．1 瞳孔定位原理

4．1．2 瞳孔区域滤波

4．1．3 图像二值化

4．1．4 瞳孔中心检测

4．2 角膜反射检测与中心定位

4．2．1 普尔钦斑轮廓检测

4．2．2 普尔钦斑中心定位

4．3 本章小结

5 瞳孔追踪

5．1 粒子滤波和卡尔曼滤波组合的瞳孔追踪方法

5．1．1 粒子滤波追踪

5．1．2 卡尔曼滤波追踪

5．1．3 粒子滤波和卡尔曼滤波组合的瞳孔追踪方法

5．2 本章小结

6 视线方向估计

6．1 视线方向估计原理

6．1．1 二维映射模型的视线估算方法

6．1．2 直接的三维视线估计方法

6．2 视线方向估计方法

6．2．1 眼球光轴的确立

6．2．2 根据用户标定．确立视轴

6．2．3 视线注视点的确立

6．2．4 实验结果及分析

6．3 本章小结

7 眼睛控制鼠标应用

7．1 视线与屏幕映射阶段

7．1．1 注视点标定

7．1．2 标定算法

7．2 鼠标控制系统

7．2．1 光标移动方案

7．2．2 系统特征矢量的构建以及鼠标控制指令的生成

7．2．3 鼠标控制子线程

7．3 眼控鼠标的应用与结果

7．4 本章小结

8 总结和展望

8．1 工作总结

8．2 课题展望

参考文献

攻读硕士学位期间发表的论文

致谢

声明