基于表观和头部姿态的视线估计系统设计与实现

摘要

视线估计是预测视线方向的过程。视线估计具有重大的研究价值和应用价值，被广泛应用在神经科学、心理学、计算机科学中。视线估计方法主要有基于模型的视线估计和基于表观视线估计两种方法。在基于模型的视线估计中，复杂的设备（需要多个红外光源和高清摄像机）大大限制了该方法的应用范围。而基于表观的视线估计方法因为设备简单、应用范围更广而成为主流研究方法。本文采用基于表观的视线估计方法，从大量的数据中学习视线估计模型的方法，过程主要分为训练阶段和测试阶段。目前基于表观的视线估计方法主要存在两个问题：一是精度比较低，二是不能适应大幅度的头部移动。针对目前存在的主要问题，本文将人眼图像和头部姿态作为输入特征，视线方向作为输出，采用深度学习方法学习视线估计模型。本文实验在系统校准（包括张正友标定和基于镜面反射的摄像机姿态估计）的基础上，通过Viola-Jones目标检测算法检测人脸和人眼，利用Supervised Descent Method（SDM）算法检测人脸特征点，根据人脸特征点通过3D人脸模型变换的方法估计头部姿态，采用卷积神经网络（Convolutional Neural Network, CNN）的方法学习视线估计模型。
　　本研究实现了一个高效的数据采集程序和一个实时的可适应多人的视线估计系统。本文人工采集训练数据63200对，包括左右人眼图像、头部姿态和视线方向。在头部姿态估计中，当人脸特征点不可见时，提出加入了粗略的头部姿态估计，增大了头部移动的幅度。在瞳孔中心检测中，提出一系列先验知识和后处理过程，可以鲁棒的适应眨眼、眼镜反光、头发等特殊情况。改进了LeNet5和GoogLeNet网络结构，使分类用的网络能够适应回归任务，并训练了三个模型：基于 MPII公开数据集的视线估计模型，基于本文采集的数据集的视线估计模型，基于本文采集的数据集的注视点估计模型。本文实验表明，基于卷积神经网络的视线估计模型在 MPII数据上的平均误差为5.2°，在自己采集的数据集上的平均误差为2.6°，注视点估计模型平均误差达到220像素，在适应大幅度（yaw角和pitch角范围从-45°到+45°）的头部移动的同时提升了视线估计的精确度。

目录

第1章 绪 论

1.1 课题研究背景与意义

1.2 视线追踪国内外研究现状

1.3 主要研究内容与组织结构

第2章 基于表观的视线估计

2.1 引言

2.2 固定头部姿态的视线估计

2.3 头部自由移动的视线估计

2.4 模型训练

2.5 本章小结

第3章 基于头部姿态的视线估计

3.1 引言

3.2 系统校准

3.3 Viola-Jones人脸检测

3.4 人脸特征点检测

3.5 头部姿态估计

3.6 瞳孔中心定位

3.7 本章小结

第4章 视线估计实验与结果分析

4.1 引言

4.2 数据采集阶段

4.3 模型训练和测试

4.4 本章小结

结论

参考文献

声明

致谢