双相机双光源视线追踪系统的研究与设计

摘要

视觉是人类与外界交互重要的途径之一，80％以上的外界信息经由视觉获得。视线估计技术通过光学、电子、机械等手段获取观察者的注视点，它不但提供了一种崭新的基于视觉的人机交互方式，而且提供了将人眼视觉及注视规律量化分析的手段，因而有着重要的研究价值。 本文深入研究视线追踪的核心技术，学习、总结前人成果，从宏观的系统设计角度出发，探索低成本硬件条件下视线追踪系统的设计与实现。系统采用双相机与双光源的硬件设计，视线估计模型基于瞳孔角膜反射法，选用了低成本的不带有可变焦工业镜头的红外相机，并有针对性的进行了算法设计，平衡硬件成本与视线估计精度之间的矛盾。论文主要工作如下: 1.硬件系统的设计。红外点光源与相机的选型、安装与调试，达到最佳成像效果。 2.视线特征参数的提取，即瞳孔中心、角膜反射光斑中心的提取。针对低成本相机成像条件下目标区域图像分辨率低，以及光照环境的变化、人眼眨动等影响因素，论文提出了视线特征参数提取方法，兼顾提取的精度与方法的鲁棒性，包括视频采集、由粗及细的瞳孔区域定位、角膜反射光斑中心提取、瞳孔中心提取，最后引入后处理应对异常情况。 3.视线估计算法的设计。根据人眼生理结构与人眼视觉机制，抽象建立人眼模型，以此为依据推导实现基于瞳孔角膜反射法的视线估计算法模型。 4.坐标系转换与参数标定。涉及局部坐标系与世界坐标系之间的转换，相机参数、相机姿态的标定以及算法参数标定过程的推导与优化求解。 5.视线追踪系统的工程实现。系统各个环节的实现与完整系统的集成、优化与加速。 论文最终构建了一个双相机双光源视线追踪系统，实验结果表明，本系统视线估计结果平均均方根误差为12 mm，满足某些应用的基本需求。本系统降低了对硬件的要求，视线估计精度拥有不小的提升空间，在实际应用中有一定的参考价值。

目录

声明

摘要

第一章绪论

1．1选题背景和研究意义

1．2研究现状

1．3论文研究内容

1．4论文组织结构

第二章基于瞳孔角膜反射法的视线估计算法模型

2．1人眼生理结构与人眼模型的建立

2．1．1人眼生理结构

2．1．2人眼视觉机制

2．1．3人眼模型的建立

2．2视线估计算法模型

2．2．1重建光轴

2．2．2重建视轴

2．3本章小结

第三章视线特征参数的提取

3．1视频采集与解码

3．2瞳孔区域定位

3．2．1粗定位

3．2．2精确定位

3．3角膜反射光斑中心的提取

3．3．1反射光斑候选区域定位

3．3．2反射光斑中心的提取

3．4瞳孔中心的提取

3．4．1预处理

3．4．2边缘检测与过滤

3．4．3椭圆拟合

3．5后处理

3．6本章小结

第四章坐标系转换与参数标定

4．1坐标系定义与转换

4．1．1坐标系定义

4．1．2坐标系转换

4．2参数标定

4．2．1相机参数标定

4．2．2算法参数标定

4．3本章小结

第五章双相机双光源视线追踪系统的建立与测试

5．1系统架构

5．1．1软硬件配置

5．1．2软件架构

5．2系统测试与分析

5．2．1运行速度

5．2．2视线特征参数提取的测试与分析

5．2．3视线追踪系统的测试与分析

5．3本章小结

第六章工作总结与展望

6．1论文总结

6．2工作展望

参考文献

附录 攻读学位期间的研究成果

致谢