基于FPGA的实时视线定位系统的设计与实现

摘要

视线定位是一个新兴的研究课题，不论是在人机交互领域还是在行为分析方面都有着十分重要的研究价值和实际意义。本文通过对多种视线检测方法的对比以及实际情况的需求，最终采用基于图像处理的方法，设计并实现了人眼视线实时定位系统。本文所做的主要工作有:
　　(1)详细地介绍了视线检测的研究现状，论述了视线检测的发展过程和基本手段，并对其优缺点进行了分析;
　　(2)对本文的开发平台进行了简要论述，主要包括ZYNQ的启动与配置过程、Linux系统的移植以及QT运行库的交叉编译;
　　(3)提出本文设计的总体框架和具体功能模块，并对本文的关键技术加以介绍;
　　(4)分析和研究了基于图像处理方法的视线检测技术，对设计中采用的算法做了必要的改善。例如改进中值滤波函数里面的排序算法，在最坏情况下改进中值滤波函数大概节省了30％的时间;采用高效率的投影积分算法进行人脸检测，大大降低了算法复杂度;引进缩小眼睛搜寻区域的粗定位算法，大大提高了眼睛窗口的检测精度。所有这些措施，都保证了系统的实时性和准确性;
　　(5)以实时性和准确性为评价标准，对视线定位系统进行全方位的测试，并分析系统存在的主要问题，提出解决方案。测试结果表明，视线定位系统在实时性和准确性两方面都基本满足设计要求。
　　整个系统以ZedBoard开发板为硬件平台，采用软硬件协同设计的方式。硬件方面，以ZYNQ中的双核Cortex-A9 ARM为控制核心，完成Linux系统运行和应用软件界面操作，并以FPGA为核心外设，完成图像处理算法。软件方面，主要在Xilinx公司提供的ISE开发工具下完成嵌入式系统配置和代码编写调试，并在QT下进行应用程序开发，提供可视化人机交互界面。

目录

声明

摘要

第1章 绪论

1．1 课题的研究背景

1．2 国内外研究现状

1．2．1 视线检测的发展历程

1．2．2 国内外的主要研究成果

1．3 课题的研究意义

1．4 论文的主要工作及章节安排

第2章 系统设计的相关知识简介

2．1 视线检测的基本方法介绍

2．1．1 基于电磁学手段的视线检测方法

2．1．2 基于光学手段的视线检测方法

2．1．3 基于图像处理技术的视线检测方法

2．2 系统硬件开发平台

2．2．1 ZedBoard开发板简介

2．2．2 多核异构的嵌入式系统简介

2．2．3 ZYNQ的启动与配置

2．3 系统软件开发平台

2．3．1 Ubuntu Linux系统简介

2．3．2 XILLYBUS系统移植

2．3．3 QT开发环境简介及交叉编译环境配置

2．3．4 可编程逻辑开发简介

2．4 本章小结

第3章 系统总体设计

3．1 系统功能概述

3．2 系统总体功能模块设计

3．3 视线定位的关键技术

3．4 系统硬件设计

3．5 系统软件设计

3．6 本章小结

第4章 视线定位的基本算法研究

4．1 图像的平滑处理

4．2 图像的光照补偿

4．3 图像的腐蚀与膨胀

4．4 图像归一化处理

4．5 肤色识别算法

4．6 基于投影法的图像分割

4．7 本章小结

第5章 各功能模块的硬件设计与实现

5．1 图像输入模块

5．2 人脸检测模块

5．2．1 肤色检测模块

5．2．2 人脸检测

5．2．3 人脸图像归一化

5．3 人眼检测模块

5．3．1 人眼检测流程

5．3．2 眼眶分割与虹膜检测

5．4 视线定位模块

5．5 本章小结

第6章 系统调试及结果分析

6．1 系统调试

6．2 系统性能测试

6．3 系统运行结果

6．4 系统存在问题

6．5 本章小结

第7章 总结与展望

7．1 论文工作总结

7．2 未来工作展望

参考文献

致谢