双目视觉的手指跟踪定位技术研究

摘要

轻型飞行模拟器采用虚拟现实立体头盔作为视景设备,虽然确保了模拟器体积小巧、视景设备成本低廉,但飞行员戴上头盔后看不见实际的开关,也看不见飞行员自己的手,很大程度上影响人机交互过程,给舱内的开关、按钮类操作模拟造成困难,进而难以完成飞行训练的逼真模拟。
　　 现有虚拟现实手部人机交互技术尚不完善,开关类操作的力觉和触觉模拟困难。为完善虚拟现实模拟器人机交互功能,关键是要解决虚拟现实系统中高度逼真的手部人机交互技术。基于视觉的检测跟踪技术由于比较符合交流习惯成为近年来应用于人机交互技术中的一项关键技术,本课题研究了简单背景下的实时手部跟踪定位技术,通过双目立体视觉技术,对双目立体图像对中的运动目标进行检测与提取,并在图像序列中对运动目标进行跟踪和三维定位。
　　 首先,本文在手部检测阶段提出了基于肤色检测并融合运动信息的新方法。利用HSV颜色空间和基于高斯模型的肤色建模对手部肤色进行提取,并运用背景差分算法进行运动信息分析以去除图像中的类肤色背景。该方法保证了对运动手部进行检测提取的准确性。其次,本文在手指跟踪算法中提出了CamShift算法与Kalman滤波算法相结合的新方案确定搜索窗口以获得手的位置。利用CamShift算法计算手部跟踪窗口的位置和大小,使用Kalman滤波预测手心位置。该算法很大程度上提高了跟踪效率,保证了跟踪的实时性。最后,在指端定位阶段利用基于颜色的匹配方法实现了对手部手指进行定位,避免了在特征点匹配上消耗大量的时间,满足图像处理实时性的要求。
　　 实验表明,该系统跟踪方法效率高,能够有效识别手部和手指,算法鲁棒性较高。随着进一步研究的深入,此项技术势必会使得人机交互更加自然方便。

目录

文摘

英文文摘

图表清单

注释表

第一章 绪论

1.1 研究背景

1.2 国内外研究现状

1.2.1 双目立体视觉技术的发展现状

1.2.2 目标检测与跟踪技术的发展现状

1.3 课题研究目的和意义

1.4 论文的组织结构

第二章 双目立体视觉成像原理及摄像机标定

2.1 双目立体视觉成像基础

2.1.1 双目立体视觉的研究内容

2.1.2 双目立体视觉成像原理

2.2 摄像机标定技术

2.2.1 摄像机模型

2.2.2 摄像机标定

2.2.3 本文摄像机标定的实现

2.3 基于目标特征的立体匹配

2.4 本章小结

第三章 运动目标检测与跟踪

3.1 运动目标检测与提取

3.1.1 运动目标检测算法

3.1.2 图像处理

3.2 运动目标跟踪

3.2.1 目标特征的选择

3.2.2 颜色空间

3.3 手部检测方法的选择

3.3.1 基于帧差法的检测与提取实验及分析

3.3.2 基于背景差分算法的检测与提取实验及分析

3.4 本章小结

第四章 手部跟踪算法研究

4.1 CamShift跟踪算法

4.1.1 均值偏移算法(Mean-Shift)

4.1.2 CamShiit跟踪算法

4.2 对CamShift算法进行改进

4.2.1 卡尔曼滤波与CamShift相结合

4.2.2 背景差法与CamShift相结合

4.3 手部及指端标记的检测跟踪实验及分析

4.4 本章小结

第五章 基于双目立体视觉的跟踪定位系统的实现与实验研究

5.1 定位系统的实现及分析

5.1.1 双目立体视觉的定位原理

5.1.2 双目立体视觉的定位系统

5.1.3 双目立体视觉的手指跟踪定位系统算法总流程

5.2 实验结果与分析

5.3 系统性能分析

5.3 本章小结

第六章 总结与展望

6.1 全文的主要工作

6.2 后期研究工作展望

参考文献

致谢

在学期间的研究成果及发表的学术论文