面向虚拟现实飞行模拟训练的视觉手交互技术研究

摘要

飞行模拟器是一种能逼真模拟真实飞机在空中以及地面运动的航空试验设备。南京航空航天大学飞行模拟与先进培训工程技术研究中心于21世纪伊始便致力于基于虚拟现实技术的飞行模拟器的研究，并提出了半虚拟现实座舱的概念。舱内的操作设备采用实物提供力觉和触觉反馈，舱内及舱外的视景由计算机生成并输出到头盔显示器。但在半虚拟现实座舱中还需采用适当的方式，将手作为视觉反馈提供给用户，而传统的数据手套容易产生约束感和异物感，影响人的沉浸感。为此，本文采用更能体现“以人为中心”的基于视觉的交互方案，通过计算机视觉技术对用户的手势进行跟踪和识别，然后利用获得的数据驱动手模型，实现半虚拟现实座舱中虚拟手的可视化。此外，本文将计算机视觉技术应用于桌面虚拟现实训练系统，作为培训飞行员的一种补充手段。文中主要研究内容可概括如下:
　　(1)手势特征提取以及多特征融合。针对半虚拟现实座舱这种特殊的应用环境，舱内操作设备对操作手势存在一定的约束形式，即操作设备的外形及位置基本决定了操作手势的类别和姿态，因此采用基于表观的手姿态估计方法。通过对手势图像库提取特征，建立手势特征与姿态参数间的映射，将姿态估计问题转换为特征检索问题。使用手势分割、轮廓搜寻、轮廓平滑和肤色填充四个步骤对手势图像进行预处理。对预处理后的手势图像，提出形状特征和颜色特征相结合的特征提取方法，其中形状特征采用梯度方向直方图(Histogram of Oriented Gradient，HOG)特征，颜色特征采用色度直方图特征，并根据特征相似性度量下的检索评价准则，确定形状特征和颜色特征在融合过程中各自所占的融合权重。
　　(2)大容量高维度的手势特征检索。为提高手势特征的检索速度并克服“维数灾难”问题，使用局部敏感哈希（Locality Sensitive Hashing，LSH）索引方法进行近似近邻检索。为避免LSH索引建立的哈希表超出计算机的内存范围，采用多探测原理对多个哈希桶进行探测，加大库中特征与查询特征在单张哈希表中发生碰撞的概率。同时，为进一步提高算法的时间效率，引入近邻特征表，使用耗时较少的查询操作代替部分欧氏距离的计算。根据以上两点，提出了改进的LSH索引方法。此外，为优化改进LSH中的索引参数，提出了索引性能预测模型。本文实验表明，该预测模型能够反映实际的索引性能，利用优化参数后的改进LSH索引进行10-近邻特征检索，能以索引召回率下降3％为代价，将在线实际耗时减少41.9％。
　　(3)自遮挡情况下的手姿态估计。针对手在半虚拟现实座舱中操作所遇到的自遮挡问题，引入多个视点下的手势图像。为避免多视点下的手势图像库容量过分增加，建立手势特征树，提出了在最大后验概率(Maximum a Posteriori，MAP)框架下，通过特征树节点搜索保证概率意义上的姿态最优解，并利用时序一致加权提高姿态估计精度。本文实验表明，通过建立手势特征树，可以将手姿态估计速度从4.4帧/s的提高至8.2帧/s，并且在自遮挡情况下仍能有效地估计手指关节参数以及手腕姿态参数，能够满足用户与半虚拟现实座舱之间的交互需求。
　　(4)指尖检测、定位和手势识别。针对桌面虚拟现实训练系统，实现基于视觉的接触式和非接触式两种训练方式。接触式训练中，对手部进行实时跟踪和定位，计算手指指尖的三维位置，实现真实手与虚拟物体的精细碰撞检测。其中，提出了使用指甲盖标记与轮廓凸缺陷分析相结合的方法检测手指指尖，并提出了引入深度信息的对偶正交摄像机系统及坐标值轮流逼近定位算法计算指尖的三维空间位置。本文实验表明，该算法对指尖的平均定位误差小于0.1cm。非接触式训练中，提出了基于分层时序记忆(Hierarchical Temporal Memory，HTM)的手势识别方法，识别飞行模拟过程中的各种操作手势，所述方法对10种静态手势的识别率超过90％。同时，结合指尖定位结果作为各种操作的输入控制量，实现用户只使用手势即完成飞行模拟的全过程。

目录

摘要

注释表

第一章 绪论

1．1 虚拟现实技术

1．2 飞行模拟器

1．3 视觉手姿态估计

1．3．1 基于模型的手姿态估计方法

1．3．2 基于表观的手姿态估计方法

1．4 视觉手指定位

1．5 课题来源及主要研究内容

1．5．1 课题来源

1．5．2 本文主要研究内容

1．6 本文章节安排

第二章 手势特征提取及融合

2．1 手势图像库

2．2 手势图像预处理

2．2．1 手势分割

2．2．2 轮廓搜寻

2．2．3 轮廓平滑

2．2．4 肤色填充

2．3 手势特征提取

2．3．1 形状特征

2．3．2 颜色特征

2．4 特征相似性度量

2．5 特征检索评价准则

2．6 形状和颜色特征融合检索

2．7 本章小结

第三章 手势特征检索

3．1 手势特征近邻检索

3．1．1 近邻检索问题描述

3．1．2 传统近邻索引方法

3．1．3 精确近邻索引方法

3．1．4 近似近邻索引方法

3．2 LSH索引方法

3．2．1 LSH基本概念

3．2．2 Hamming空间中的LSH

3．2．3 欧氏空间中的LSH

3．3 改进的LSH索引方法

3．3．1 多探测原理

3．3．2 近邻特征表

3．3．3 索引参数调整

3．4 手势图像检索实验

3．5 本章小结

第四章 多视点手姿态估计

4．1 手部自遮挡

4．2 手势特征树

4．3 多视点姿态估计MAP框架

4．3．1 特征树节点搜索

4．3．2 姿态时序一致加权

4．4 姿态参数估计实验

4．5 本章小结

第五章 指尖检测、定位和手势识别

5．1 指尖检测

5．1．1 基于指甲盖标记的指尖检测方法

5．1．2 基于凸缺陷分析的指尖检测方法

5．1．3 指尖综合检测方法

5．2 指尖定位

5．2．1 正交摄像机系结构及定位算法

5．2．2 引入深度信息的对偶正交定位算法

5．2．3 三维指尖定位实验

5．3 手势识别

5．3．1 HTM原理

5．3．2 基于HTM的手势识别

5．3．3 手势识别实验

5．4 桌面虚拟现实交互系统集成与测试

5．4．1 系统硬件

5．4．2 系统软件

5．4．3 实验与性能测试

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

在学期间的研究成果及发表的学术论文