PRO-CAM系统下基于异质图像匹配获取深度信息的敲击检测

摘要

基于视觉的人机交互是一种更自然的人与计算机交互方式。一直受到研究人员的关注。近年来，随着投影技术的发展，将投影技术和计算机视觉技术相结合吸引了许多相关研究人员和公司的兴趣。把投影仪和摄像机相结合，可以突破传统显示和交互的瓶颈，将便携设备的投影平面转换成一个超大的可交互的显示平面，此举具有巨大的理论价值和商业价值。建立在投影仪摄像机系统(PRO-CAM)下的人机交互涉及到机器视觉、图像处理、模式识别等多个领域的理论和技术。要实现实时的人机交互，对图像的分割、特征的提取和手势的识别都有较高的要求。手部的指尖、轮廓、深度特征是检测识别敲击手势的基础。PRO-CAM系统复杂的可见投射光照下，手的特征检测极为困难。使用经典的双目立体视觉获得深度信息难以达到实时性。
　　 本文对PRO-CAM系统下的人机交互几个关键技术问题进行了研究，主要工作贡献可归结为如下几点：
　　 1、设计了一个新颖的PRO-CAM系统，系统包括红外摄像机，红外照系统，可见光摄像机和投影仪。使用红外光照系统，解决了在摄像机投影仪系统复杂的、运动的可见光照背景中提取前景困难的问题；根据红外光照摄像机和可见光摄像机提供的深度信息做敲击的检测,实现了一种重要的手势的准确检测。
　　 2、红外摄像机和可见光摄像机相结合的几何标定，解决了在投影仪下使用红外摄像机出现的难以标定问题，使用棋盘格的辅助来建立红外摄像机和可见光摄像机的映射关系，再使用投影仪投射棋盘格图片，建立投影仪和可见光摄像机的映射关系，从而快捷准确的获得红外摄像机和投影仪的几何映射关系。
　　 3、基于LaplaceofGaussian的团块检测和曲率相结合的快速指尖检测算法。利用手指的宽度保持在一定的范围内和指尖位置的边缘曲率较大，设计了一个快速的指尖检测算法。我们把手指看作一个个团块，使用检测团块，那些具有高曲率值的团块则很有可能是手指区域。我的指尖检测算法能够在红外光照不均匀的情况下实时的、准确的检测出指尖的位置。
　　 4、使用ChamferMatching做红外光照和可见光照下的异质图像的匹配。在使用两个不同的摄像机的情况下，图像的差异比较大，传统的立体匹配和特征点匹配的方法在这样的环境下均无法使用。本文使用边缘特征，提取红外光照下的手的轮廓为模板，使用ChamferMatching来寻找可见光照下手的位置，手在两幅图像中的视差与深度相关，可以用这种视差的变化来判断敲击。通过限制匹配搜索范围和使用基于黑森矩阵的边缘检测，减少了边缘匹配中误匹配的发生。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．1．1 人机交互系统

1 ．1．2 投影仪和投影仪摄像机系统

1．2 基于投影仪摄像机系统的人机交互的国内外研究现状

1．3 本文的主要研究内容、创新点及章节安排

第二章 基于PRO-CAM的显示平面交互系统

2．1 PRO-CAM系统特性

2．1．1 PRO-CAM系统下的可见光特性

2．1．2 PRO-CAM系统中投影仪光谱特性

2．2 系统设计

2．3 小结

第三章 PRO-CAM系统的几何标定

3．1 摄像机成像模型及摄像机的畸变矫正

3．1．1 摄像机成像模型

3．1．2 摄像机的畸变矫正

3．2 PRO-CAM系统的几何映射建立

3．2．1 透视变换

3．2．2 直接线性变换

3．3 PRO-CAM系统的几何映射建立步骤及实验结果分析

3．3．1 摄像机标定

3．3．2 可见光摄像机和红外摄像机之间的几何映射建立

3．3．3 可见光摄像机和投影仪之间的映射关系的建立

3．4 小结

第四章 红外光照下指尖的快速检测

4．1 PRO-CAM系统中手的分割

4．2 指尖的快速检测

4．2．1 基于模板匹配的指尖检测

4．2．2 基于对称的指尖检测

4．3 基于团块与曲率检测相结合的指尖检测方法

4．3．1 基于Laplacian of Gaussian的团块检测

4．3．2 曲率检测

4．3．3 结合团块和曲率的指尖检测

4．4 红外光照下指尖检测流程及指尖检测结果对比实验分析

4．4．1 红外光照下指尖检测流程

4．4．2 指尖检测结果对比实验及分析

4．5 小结

第五章 基于深度信息的敲击检测

5．1 异质图像匹配

5．1．1 图像匹配、立体匹配与异质图像匹配

5．1．2 基于Chamfer Matching的近红外到可见光之间的异质图像匹配

5．2 敲击的判断

5．2．1 摄像机立体校正

5．2．2 基于Hessian矩阵的可见光图像轮廓检测算法

5．2．3 深度信息

5．2．4 基于状态机的敲击判断

5．3 小结

第六章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的论文和参与的科研项目