头部可运动的头戴式视线跟踪系统关键技术研究

摘要

视线相比于传统的鼠标和键盘显得更加直接自然，在人机交互领域有着广阔的应用前景。基于视觉的视线跟踪系统通过摄像机捕捉人眼的运动信息来估算凝视点位置。随着Google Glass等轻便型可穿戴装置的出现，头戴式系统的应用前景变得更加明确。
　　本文研究支持头部运动的头戴式视线跟踪系统，包括瞳孔中心的快速定位，系统标定，支持头部运动的空间映射模型等关键技术，主要工作和成果如下:
　　1.基于本文的硬件环境，对星射线方法进行改进，以实现椭圆瞳孔的快速定位。具体包括:采用预设定的阈值进行瞳孔区域分割，降采样和二次定位瞳孔大致中心，椭圆拟合误差的简单估计以及迭代筛选去噪。
　　2.采用平面分区域映射等方法，实现眼动数据与参考平面上凝视点之间的鲁棒标定。实验结果验证了方法的有效性。同时给出标定时头部微小运动的处理办法，提升标定过程的舒适度。
　　3.建立一套基于cross-ratio的头部运动情况下的空间映射模型。利用屏幕四角红外标记灯在场景图像中的位置变化情况，结合投影空间不变量实现凝视点由参考屏幕向当前实际屏幕的变换。分析了场景摄像机与人眼之间的距离与凝视点计算误差之间的关系，并在摄像机坐标系下实现凝视点误差补偿。
　　4.设计实现了一套视线跟踪演示系统，模拟基于视线的多种交互操作，如屏幕软键盘输入，飞机跟踪和地图导航控制等，展现视线跟踪技术的应用前景。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．1．1 人机交互技术的发展

1．1．2 视线交互系统

1．2 视线跟踪系统的国内外研究现状

1．3 本文的主要内容、创新点及章节安排

第二章 头戴式视线跟踪系统设计概述

2．1 头戴式视线跟踪系统的硬件结构

2．2 系统主要算法流程

2．3 场景摄像机的标定和畸变校正

2．4 小结

第三章 近红外光下的瞳孔快速定位

3．1 瞳孔定位方法概述

3．1．1 Hough圆检测

3．1．2 最小二乘法椭圆拟合

3．1．3 模板匹配法

3．1．4 基于椭圆差分和PSO搜索的瞳孔定位

3．2 相关图像处理技术简介

3．2．1 图像平滑

3．2．2 梯度检测算子

3．2．3 图像分割技术

3．3 本文瞳孔定位算法

3．3．1 粗定位瞳孔中心

3．3．2 星射线法检测边缘

3．3．3 椭圆拟合及迭代筛选去噪

3．4 小结

第四章 标定

4．1 标定过程的意义

4．2 主要映射方法

4．2．1 多项式拟合

4．2．2 直接线性变换

4．2．3 神经网络

4．3 基于cross-ratio的区域映射

4．3．1 标定平面分块

4．3．2 四边形的cross-ratio计算

4．3．3 参考平面上凝视点计算

4．4 实验步骤和结果

4．5 标定时头部微小运动的处理办法

4．6 小结

第五章 基于cross-ratio的头部运动情况下的视线跟踪

5．1 凝视点由参考平面向实际屏幕的变换

5．2 场景摄像机坐标系下基于距离的凝视点修正

5．2．1 凝视点计算误差分析和修正

5．2．2 屏幕坐标系到摄像机坐标系变换矩阵的推导

5．3 实验结果

5．4 小结

第六章 视线跟踪演示系统实现

6．1 系统的软硬件实现

6．2 视线跟踪演示示例

6．3 小结

第七章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的论文和参与的科研项目