基于单目视觉的增强现实系统设计与应用

摘要

增强现实(Augmented Reality，简称AR)技术，是一种将虚拟信息叠加到真实世界，使得用户对周围环境的认知与感知能力得到增强与扩展的技术。增强现实技术已经开始应用到诸多领域，将其与其他技术相结合，能够使得人们的生活便捷化、智能化。现代社会中对于个人身份认证的方便性和有效性要求越来越高，人脸识别技术作为生物识别技术之一，具有广阔的应用前景。将人脸识别技术与增强现实技术相结合，可以实现最直观、快速地身份识别，达到智能预警的目的。
　　本论文主要设计了一套基于单目视觉的增强现实系统，并实现了其在人物身份识别与信息显示方面的应用。本论文阐述了系统方案，其中包括软件、硬件平台以及整体系统架构。本系统设计通过ZedBoard嵌入式平台与PC平台实现，前者结合了ARM和FPGA技术，是当前高性能嵌入式终端的理想开发平台，后者用于模拟远程服务器，两平台之间通过TCP网络协议进行视频图像等信息的传输。首先，在ZedBoard平台上完成了嵌入式Linux系统的搭建，并编程实现了视频图像的采集及灰度化、中值滤波、直方图均衡化等处理;然后，本论文对基于AdaBoost的人脸检测算法和基于PCA的人脸识别算法进行了深入研究，为提高人脸识别的成功率，对人脸图像进行了几何归一化、光照归一化及冗余信息去除等一系列处理，在PC平台上编程实现了人脸识别，并在人物信息数据库中提取对应的人物信息;根据所识别出的人脸位置、大小及人物信息，设计了直观的、可跟随人脸位置的标签式人物信息显示界面;此外，考虑到可能存在网络不稳定的实际情况，本论文将系统进行整合移植到了嵌入式平台。针对嵌入式平台的硬件局限性，本论文对系统进行了多线程及人脸检测速度两方面相应的优化处理;最后，设计并搭建了基于单目视觉、穿透式、大视场的光学系统，并完成了对该系统的验证与评估。系统测试实验数据表明，本系统能够较好地完成实时的人脸检测与人脸识别，人物信息界面能够实时跟随人脸位置，界面大小能动态随着人脸大小而变化，基本实现了在人物身份识别与信息显示方面的增强现实系统效果。

目录

封面

声明

摘要

英文摘要

第一章 绪论

1．1 研究背景及意义

1．2 课题相关技术概述

1．2．1 增强现实的关键技术

1．2．2 客户端与服务器架构

1．2．3 嵌入式系统概述

1．2．4 嵌入式Linux系统概述

1．2．5 SQLite数据库概述

1．2．6 人脸检测与识别算法概述

1．2．7 基于AdaBoost的人脸算法概述

1．2．8 基于PCA的人脸识别算法概述

1．3 课题研究内容及章节安排

第二章 系统设计方案及软硬件平台

2．1 系统设计方案

2．2 硬件平台

2．3 软件平台

2．3．1 开发环境

2．3．2 OpenCV

2．4 本章小结

第三章 嵌入式系统搭建

3．1 开发环境的搭建

3．1．1 建立交叉编译环境

3．1．2 在Qt中部署OpenCV

3．2 嵌入式Linux系统的搭建

3．2．1 编译启动文件BOOT．BIN

3．2．2 编译Linux内核

3．2．3 编译设备树

3．2．4 制作根文件系统

3．3 Qt与openCV库的移植

3．3．1 Qt库的移植

3．3．2 OpenCV库及依赖库的移植

3．4 本章小结

第四章 增强现实系统方案实现

4．1 系统软件实现

4．1．1 视频采集及预处理

4．1．2 视频网络传输

4．1．3 基于AdaBooSt算法的人脸检测实现

4．1．4 人脸处理

4．1．5 人物信息数据库的实现

4．1．6 基于PCA的人脸识别算法实现

4．1．7 人物信息界面的实现

4．2 系统软件优化

4．2．1 多线程优化

4．2．2 人脸检测速度优化

4．3 基于单目视觉的光学系统实现

4．3．1 光学系统设计要求

4．3．2 光学系统设计实现

4．4 本章小结

第五章 系统测试

5．1 人脸检测测试

5．2 人脸识别结果测试

5．3 系统综合测试

5．4 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

致谢

参考文献

作者简介