面向移动设备人机交互的眼动跟踪系统

摘要

眼动跟踪技术可分析、记录用户的注视点坐标，在心理学、广告评测和人机交互等领域已得到广泛的应用。随着机器视觉、图像处理技术的快速发展和硬件水平的飞速提升，眼动跟踪技术也逐渐在移动设备上得到应用。然而由于受到移动设备硬件水平的限制，例如自带摄像头像素较低，处理器的性能远落后于个人电脑等问题，面向移动设备的眼动跟踪技术依然存在计算效率低下、跟踪误差较大等问题。
　　本研究主要内容包括：⑴面向移动设备眼动跟踪的图像处理技术研究。由于移动设备硬件资源匮乏，其眼动跟踪的计算效率较低，对眼动跟踪效果影响较大。为此，通过逐层缩小图像处理范围的方法，提高图像处理计算效率。首先使用改进的局部二值特征级联分类器对移动设备前置摄像头捕获的图像进行人脸检测，判断并提取人脸区域；然后通过计算人脸区域的相对位置得到人眼预选取区域，并针对该区域使用 Haar特征级联分类器进行人眼检测，判断并提取人眼区域。⑵面向移动设备眼动跟踪的注视点计算方法研究。由于人眼区域检测存在偏差等情况，提取人眼区域后将该区域的各边进行适当的扩展得到精确人眼预选区域（包含完整的人眼轮廓，但相较人眼预选取区域更为精确排除头发、眉毛等干扰物），随后使用二值化和轮廓提取的方法得到更为精准的人眼图像外接矩形和虹膜与上眼睑连通区域轮廓，并计算得到人眼图像外接矩形中心(eye center，EC)，以及虹膜与上眼睑连通区域轮廓的重心（centre of gravity，CG）。进而建立人眼图像外接矩形中心指向虹膜与上眼睑连通区域轮廓重心的向量（EC-CG向量）。最后通过标定方法，拟合EC-CG向量与注视点的映射关系，实现注视点的准确计算。⑶基于移动设备眼动跟踪的人机交互应用研究。设计与开发了基于智能手机的眼动跟踪原型系统，该系统可以准确、高效的获取用户眼动数据。在此基础上，对眼动数据进行可视化处理与分析，绘制眼动数据热区图、感兴趣区域（Area of Interest，AOI）重点标记图、感兴趣区域之间的视线转换关系图。最后以智能手机上的图片广告为例，应用上述眼动数据可视化方法，实现多用户之间眼动数据可视化结果的分享。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 研究目标及内容

1.4 论文组织结构

第2章 移动设备眼动跟踪图像处理技术

2.1 技术框架

2.2 图像畸变校正

2.3 人脸区域提取

2.4 人眼区域提取

2.5 本章小结

第3章 移动设备眼动跟踪注视点计算

3.1 特征值计算

3.2 注视点计算

3.3 结果分析

3.4 本章小结

第4章 基于移动设备眼动跟踪的人机交互应用

4.1 系统框架

4.2 系统实现

4.3 实验与分析

4.4 本章小结

第5章 总结与展望

5.1 论文总结

5.2 未来工作展望

参考文献

附录

致谢

攻读学位期间参加的科研项目和成果