基于3D眼球模型的头戴式视线交互关键技术研究

摘要

视线跟踪在人机交互、增强现实、人类习惯学习等领域有着重要的应用，近年来在计算机视觉领域得到了越来越多的关注。在人机交互领域而言，视线跟踪系统可分成两大类:一类基于桌面式眼动数据采集，用户不佩戴任何设备;另一类基于头戴式设备获取眼动数据，用户需要佩戴一些设备己获取状态数据。随着轻便材料和加工工艺的发展，基于头戴式的视线跟踪系统的应用将会更加普及。基于头戴式系统的研究涉及图像处理、计算机视觉领域的理论和技术。在图像处理方面，需要精确、快速地定位眼部图像中的变形瞳孔中心。在计算机视觉方面，则需要准确建立眼睛状态到显示器的空间映射关系，使得用户在标定过程和使用过程中得到更舒适的用户体验。
　　 本文针对上述问题开展研究，主要的工作和贡献可总结为以下几点:
　　 1.探讨和实现了一个两级的瞳孔定位方法。首先根据改进的星射线法，提取瞳孔边缘并进行椭圆拟合，在不发生眼睑遮挡时，能比较准确检测出变形瞳孔的中心。基于3D眼球模型设计了一个瞳孔遮挡检测算法，可以有效判断瞳孔是否被遮挡。当检测出瞳孔被遮挡时，进行第二级定位，采用改进的椭圆模板匹配算法，依据眼球模型参数，事先获得椭圆中心对应的长短轴比例和旋转角度，将椭圆模板匹配的计算复杂度由5维降低到3维，有效提高了匹配的效率。
　　 2.研究和完成了一个由粗至精的快速眼角定位算法。首先提取眼部图像边缘，再利用椭圆拟合出眼角的大致区域。在内外眼角大致区域利用阈值分割出初始的内外眼角点。在内外眼角点上划定一块小区域，利用基于SUSAN算子的加权方差投影函数(SWVPF)进行眼角的精定位，实验结果验证了该算法的有效性。
　　 3.建立了一套基于3D眼球模型的空间视觉模型，解决了标定过程存在的一点标定问题、使用过程头部自由运动产生的模型失配问题和头部运动空间测量问题。引入了一个基准坐标系，建立了一个从眼球坐标系到基准坐标系再到显示器坐标系的空间变换关系。基于场景摄像机，实时计算基准坐标系到显示器坐标系间关系;基于标定过程，训练出眼球坐标系到基准坐标系关系;从而最终计算出视线在显示器平面上的投影，即凝视点。基于该空间视觉模型，利用场景摄像机，可计算出头部的运动范围和角度。
　　 4.设计并实现了一套视线交互的原型系统，实现了包括软键盘输入，目标跟踪和地图导航控制等应用，展现视线跟踪技术的应用前景。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．1．1 人机交互系统

1．1．2 视线交互系统

1．2 头戴式视线交互系统的国内外研究现状

1．2．1 瞳孔检测的国内外研究现状

1．2．2 近红外光下眼角的快速定位国内外研究现状

1．2．3 空间映射模型的国内外研究现状

1．3 本文的主要内容、创新点及章节安排

第二章 基于3D眼球模型的两级瞳孔定位算法

2．1 经典瞳孔定位算法

2．1．1 基于最小二乘法的椭圆拟合

2．1．2 Hough圆检测

2．2 眼球参数训练

2．2．1 眼部参数估计原理及证明

2．2．2 估计眼球参数

2．3 瞳孔定位

2．4 瞳孔定位的结果对比及分析

2．5 小结

第三章 近红外光下眼角的快速定位

3．1 近红外光下眼角定位的意义

3．2 眼角检测的经典算法

3．3 近红外光下的眼角定位

3．3．1 眼角的粗定位

3．3．2 基于SUSAN算子加权方差投影函数(SWVPF)的眼角精定位

3．4 眼角定位的流程图及实验结果对比分析

3．4．1 眼角定位的流程图

3．4．2 实验结果对比分析

3．5 基于眼角检测的瞳孔位置修正

3．6 小结

第四章 基于3D眼球模型的空间映射模型

4．1 系统总体分析

4．2 头部自由运动模块

4．2．1 头部自由运动原理

4．2．2 头部运动空间和角度估计

4．3 一点标定模块

4．3．1 第一级训练

4．3．2 第二级训练

4．4 凝视点估计

4．5 直接线性变换(DLT)映射及与本文算法的跟踪结果对比

4．5．1 直接线性变换映射

4．5．2 跟踪的效果对比

4．6 小结

第五章 头戴式视线交互原型系统

5．1 硬件设计及摄像机畸变校正

5．1．1 硬件设计

5．1．2 摄像机畸变校正

5．2 系统的软件架构

5．3 系统的标定

5．4 自然人机交互的应用演示

5．5 小结

第六章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的论文和参与的科研项目