立体双目视觉原理及其在手势识别中的应用研究

摘要

随着信息技术的发展，三维场景重建技术得到了长足的进步，被广泛的应用于虚拟现实、机器人避障、无人机飞行等领域，手势作为一种自然的人机交互方式有着良好的用户体验受到人们越来越多的关注和研究，引入立体视觉技术使得手势识别不再局限于二维平面，有着更加良好的识别效果，并且可以识别三维手势。
　　双目立体视觉在获取三维深度信息方面有着成本低廉、数据易于获取、非接触式的优点，但处理算法比较复杂。传统基于中央处理器(CentralProcessing Unit，CPU)、图形处理器（Graphics Processing Unit，GPU）和数字信号处理(Digital Signal Processor，DSP)的处理平台难以满足图像高速实时处理的要求，对高性能嵌入式系统的支持也存在不足之处。现场可编程门阵列（Field-Programmable Gate Array，FPGA）提供大量的逻辑运算单元，在高速图像处理上有着独一无二的优势。Zynq-7000 SoC全可编程片上系统将ARM Cortex-A9处理器与FPGA集成在单芯片中，实现了串行处理和并行处理的完美结合，高效的嵌入式解决方案在性能和成本之间提供更加灵活的选择。
　　论文首先研究了立体视觉技术，分析了传统立体匹配绝对差值和（Sum of Absolute Differences，SAD）算法数据结构在FPGA中的存储方式及运算机制，使用Xilinx提供的高级算法建模工具高层次综合（High-Level Synthesis，HLS）进行编程与优化，实现了一种可以在FPGA上实现的高性能SAD算法。在此基础上研究现有的手势识别技术，针对肤色识别难以区分脸部和手部的缺点，实现了基于双目立体视觉深度信息进行区分的算法。最后在Zynq-7000 SoC器件上对两种算法进行验证，实现了基于立体视觉的嵌入式手势识别系统。
　　实验结果表明，该系统很好的分配了软硬件资源，具有良好的人机交互功能、高速的处理性能和优良的网络远端控制功能，并且相比于其他系统具有更加低成本、低功耗的优势，对未来高性能图像处理系统的设计和实现提供了很好的借鉴。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．1．1 立体视觉

1．1．2 手势识别

1．1．3 实现方法

1．2 国内外研究发展及现状

1．2．1 立体视觉的发展

1．2．2 手势识别的发展

1．2．3 实现及问题分析

1．3 论文用到的关键技术

1．3．1 立体匹配技术

1．3．2 手势识别技术

1．3．3 Zynq-7000 SoC技术

1．4 论文的研究内容、重点及创新点

1．4．1 论文的研究内容

1．4．2 论文研究的重点

1．4．3 论文的创新点

1．5 论文的组织结构

第二章 双目立体视觉原理、仿真及算法实现

2．1 立体标定

2．1．1 坐标系及线性摄像机模型

2．1．2 对极几何

2．1．3 基础矩阵和本征矩阵

2．1．4 Matlab立体标定实验

2．2 立体校正

2．3 立体匹配

2．4 深度计算

2．5 SAD算法的C模型描述

2．6 SAD算法硬件结构描述

2．6．1 HLS工具介绍

2．6．2 HLS优化指令

2．6．3 色彩格式的转换

2．6．4 图像数据的存储

2．6．5 for循环的设计及优化

2．6．6 算法接口设计

2．6．7 处理性能对比

2．7 HLS工程建立、仿真

2．7．1 工程的建立

2．7．2 算法的仿真

2．8 本章小结

第三章 基于立体视觉的手势识别

3．1 手势识别的分类

3．2 肤色识别

3．2．1 颜色空间的选取

3．2．2 高斯模型原理及参数确定

3．2．3 高斯模型的构建

3．3 立体视觉手势分割

3．4 特征提取

3．4．1 特征的选取

3．4．2 特征的Freaman链码表示

3．4．3 仿真测试

3．5 手势识别

3．5．1 隐马尔科夫模型HMM

3．5．2 仿真测试

3．6 本章小结

第四章 双目立体视觉处理平台的构建

4．1 双目摄像平台的整体架构

4．2 双目立体视觉图像采集

4．2．1 OV5640传感器

4．2．2 SCCB传输协议

4．2．3 读写寄存器

4．2．4 图像数据采集

4．2．5 控制模块仿真及摄像头测试

4．2．6 双目摄像头数据存储策略

4．3 AXI VDMA功能模块

4．4 硬件工程的建立

4．5 本章小结

第五章 立体视觉软件系统设计及测试

5．1 Ubuntu桌面系统移植

5．1．1 启动流程

5．1．2 内存空间的分配

5．1．3 桌面系统测试

5．2 嵌入式Qt开发环境构建

5．3 嵌入式OpenCV开发环境构建

5．4 嵌入式软件设计

5．5 VDMA嵌入式Linux驱动设计

5．6 图像传输原理及设计

5．6．1 网络通信

5．6．2 图像传输

5．7 人机交互界面设计

5．8 系统测试

5．9 本章小结

第六章 结论与展望

6．1 结论

6．2 展望

参考文献

附录

致谢

研究成果及发表的学术论文

作者与导师简介