自由姿态下的视线估计方法研究

摘要

视线估计的主要任务是估计人们关注的方向或屏幕上的二维关注点。作为计算机视觉的重要研究内容之一，视线估计在人机交互、医疗诊断、心理学研究等方面都有着重要的应用价值。目前，基于外观的视线估计方法因系统结构及操作简单等优点逐渐成为了研究的热点。然而，在实际应用中测试者会存在大尺度的头部姿态变化。光照条件和遮挡等问题也会影响采集图片的质量。这些因素都会增大视线估计的难度。为了实现高精度的自由姿态下的视线估计方法，本文针对这些影响视线估计精度的关键因素，基于深度卷积网络研究了三种新的视线估计方法。本文主要研究内容如下： 1.瞳孔中心和眼球中心的位置可以决定视线的方向，通过瞳孔中心位置的学习能够帮助改善视线估计算法性能。针对这个观点，提出了一种基于瞳孔定位信息的视线估计算法，通过在视线估计网络中加入瞳孔中心定位辅助任务，并将学习到的瞳孔位置信息作为额外特征加入特征向量，从而提升网络的视线估计精度。 2.针对现有视线估计算法对头部姿态鲁棒性不高的问题，提出了一种基于头部姿态聚类的视线估计方法，通过头部姿态聚类将视线估计任务分成几个较简单的子任务。同时，为了解决聚类后出现的训练数据减少问题，设计了带有类别分辨能力的损失函数，训练共同的特征提取网络和属于不同头部姿态子类的视线估计分支。这种基于头部姿态聚类思想的视线估计算法可以保证特征提取网络泛化能力，并且提升算法对头部姿态的鲁棒性。 3.本文提出了一种基于人脸和眼球上下文信息的视线估计算法，设计了一个包括三个特征提取分支的视线估计网络，分别提取人脸和双眼特征用于直接估计视线角度。为了减少头部姿态估计步骤带来的误差，直接将人脸图片作为输入估计视线角度。同时，为了充分利用眼睛部位所包含的眼球偏转角度信息，在网络中加入了人眼特征提取分支。除此之外，针对双眼由于光照、遮挡等因素导致的图片质量不一致问题，构建了双眼特征谱权重学习模块对双眼特征谱进行加权，进一步提升视线估计精度。 通过实验证明本文算法通过加入瞳孔定位任务、头部姿态聚类和提取人脸及双眼特征谱都有效的提升了视线估计精度。

目录

声明

第一章 绪 论

1.1 课题的研究背景及意义

1.2 视线估计方法研究现状

1.2.1 基于红外光照的视线估计方法

1.2.2 基于自然光照的视线估计方法

1.2.3 视线估计数据集介绍

1.3 论文的主要研究内容

1.4 本文章节安排

第二章 基于瞳孔定位信息的视线估计方法

2.1 引言

2.2 本章算法流程

2.3 头部姿态估计模块

2.4 基于瞳孔中心定位信息的视线估计网络设计

2.5 基于空间注意力机制的特征提取网络设计

2.6.1 实验环境

2.6.2 本章数据库介绍

2.6.3 网络模型训练

2.6.4 网络模型测试结果分析

2.7 本章小结

第三章 基于头部姿态聚类思想的视线估计方法

3.1 引言

3.2 本章算法框架

3.3 头部姿态聚类及分析

3.4 基于头部姿态聚类信息的损失设计及网络构建

3.5 实验结果及分析

3.5.1 客观实验结果分析

3.5.2 主观实验结果展示

3.6 本章小结

第四章 基于人脸及眼球上下文信息的视线估计方法

4.1 引言

4.2 本章算法框架

4.3 融合人脸及人眼特征谱信息的视线估计方法

4.4 双眼特征谱权重学习模块的设计和介绍

4.5 实验结果及分析

4.5.1 本章数据库介绍

4.5.2 实验结果分析

4.6 本章小结

第五章 总结与展望

5.1 总结

5.2 展望

致谢

参考文献

攻读硕士学位期间取得的成果