基于CPU+GPU平台的实时视线跟踪系统

摘要

利用机械、电子、光学等各种检测手段获取视线注视方向的视线跟踪技术越来越广泛地应用于人机交互、助老助残、车辆辅助驾驶、虚拟现实、军事等领域。本文提出了一种以数字视频分析以及图像处理为技术手段,以单摄像头设备为主要视频输入通道的视线跟踪技术,以此为基础构建了基于CPU+GPU平台的视线跟踪系统。本系统通过实时定位人眼特征点──主要包括瞳孔中心及内眼角点位置信息,将特征点数据代入视线估计模型进行估计,计算得到视线注视点并实时显示在屏幕上。
　　本文所构建的系统主要包括人眼参数初始化和实时视线估计跟踪两个阶段。在人眼参数初始化阶段,通过分别截取用户注视屏幕上九个不同方位点时的视频图像,对其进行图像检测以得到人眼特征点信息,从而对该用户人眼的基本参数进行初始化,为视线估计提供基础;在实时视线估计跟踪阶段,连续处理每帧采集到的视频图像,检测图像进行人脸定位以及人眼特征点定位以得到人眼特征点坐标信息,随后将每一组有效的特征点信息代入视线估计模型计算得到屏幕上人眼注视点坐标,经滤波处理后实时且连续地显示在显示器上,从而完成视线跟踪。
　　为了在桌面系统上实现视线跟踪实时性,整个系统在CPU+GPU平台上进行构建,根据系统任务特征提出了一种合理的任务划分与调度策略。由CPU负责系统构建、任务调度以及串行计算,将图像检测过程中计算量较大的人脸检测以及部分人眼特征点检测算法在GPU上并行实现。为此,本文深入研究并挖掘了人脸检测以及人眼特征点检测算法的并行性,基于GPU并行架构特点有针对性地设计了并行算法。通过实验验证,算法取得了较高的特征点检测精度并达到了系统的实时性要求,从而,有效地实现了实时视线估计与跟踪系统。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1视线跟踪技术的应用及研究意义

1.2视线跟踪系统的研究现状

1.3本文的研究内容及工作安排

第二章 系统框架及实现平台

2.1系统实现原理

2.2 串并行任务划分

2.3 CPU+GPU软硬件体系介绍

2.4本章小结

第三章 视线跟踪算法及模型

3.1 Adaboost人脸检测

3.2 精确脸框以及眼框定位

3.3 瞳孔及瞳孔中心定位

3.4内眼角定位

3.5视线估计模型

3.6本章小结

第四章 算法并行实现设计

4.1灰度图及二值图转换

4.2积分图计算

4.3 Adaboost人脸检测算法

4.4 脸框精确定位—垂直积分

4.5本章小结

第五章 视线跟踪系统实现

5.1系统实现的软硬件平台

5.2系统实现

5.3 视频处理实现

5.4 本章小节

第六章 实现结果及其分析

6.1图像检测各阶段结果与分析

6.2视线估计跟踪阶段结果与分析

6.3本章小结

第七章 总结与展望

参考文献

发表论文和参加科研情况说明

致谢