手势三维跟踪中的观测似然模型研究

摘要

人机交互(Human-Computer Interaction，HCI)作为计算机研究分支之一，越来越受到人们的重视。尤其是随着移动计算设备的增加以及计算机性能的提升，传统的人机交互方式显得的越来越不方便，极大地限制了计算机的使用范围和人的表达方式，因此对自然的，和谐的人机交互方式进行深入地探索变得尤为重要。人手作为人的重要表达工具之一，可以自然、方便地表达人的交互意图，深化对手势交互的研究有助于推进和谐人机交互界面的发展。同时由于手势交互系统综合了机器视觉，人工智能，图像分析以及并行计算等多方面的知识，对其进行深入探索也会促进各交叉学科的发展。
　　 基于视觉的三维运动人手跟踪的主要任务是根据捕获的视频帧信息恢复出当前手势的运动状态。人手具有复杂的关节结构，至少需要26个自由度才能准确地描绘出手势的变化。因此，手势的状态一般都由高维状态向量描述。在单目条件下，通过捕获的二维视频信息来恢复高维手势状态存在两方面的困难，一是观测空间与状态空间的不对称导致在二者匹配时容易出现歧义性，即一个观测值对应多个最优状态解;二是在如此高维的状态空间中搜索最优状态将带来庞大的计算量，制约了系统运行的实时性。因此利用视觉信息进行三维运动人手跟踪确实是一项非常具有挑战性的课题。
　　 本论文依托国家自然科学基金(No.61173079，No.60973093)，山东省自然科学基金重点项目(ZR2011FZ003)等项目基金的支持，对单目条件下三维运动人手跟踪中涉及的一些关键问题进行了研究。在三维运动人手跟踪中，观测似然模型的作用是根据当前观测值来计算手势状态的概率似然值，它通过比较观测特征和模型特征之间的匹配程度来计算手势状态值和观测值之间的相似性。本文围绕观测似然模型展开研究，探讨了观测特征的提取方法，以及如何根据这些特征来建立似然模型，同时对如何降低模型跟踪自由度，减少跟踪方法中的采样个数也进行了探索。本文的主要工作如下:
　　 (1)基于肤色特征的手势前景提取
　　 实现了两种基于肤色特征的手势前景提取方法。第一种方法是在YCrCb空间下，利用高斯混合模型对肤色建模，再根据阈值法实现了手势前景提取。在样本训练过程中采用的是在线训练的方式，在手势跟踪初始化阶段对手势区域进行实时地肤色采样，根据采集的肤色样本快速的得到高斯混合模型的参数，这样可以增加对光照条件的适应性，同时减少了所需样本的数量。第二种方法是将贝叶斯肤色分类方法与背景差分方法结合起来提取手势前景区域。由于贝叶斯肤色分类方法简单，易于实现，所以本文利用该方法来提取手势帧图像中的肤色像素。但由于贝叶斯方法需要根据一定的肤色样本来训练分类器，样本选取的好坏以及阈值的选择对分割效果具有很大的影响，所以分割的结果往往不够精确。背景差分方法将当前帧图像与背景图像做差值运算，根据差值的大小来提取前景图像，但由于在手放入场景后，会引起场景光线的变化，产生阴影，背景差分会将这些非前景区域内的变化误认为是前景，当这些变化的部分不具有肤色特性时，可以利用贝叶斯方法去除;另一方面，当用贝叶斯肤色分类方法分割的不够完全时，利用背景差分可以进一步去除那些属于背景的像素。因此二者的结合可以互相弥补对方的缺点，提取效果要好于仅使用单一的方法。此外，在手臂穿戴衣服条件下，减背景会把运动的整个手臂也当做是前景区域，由于我们只对人手部分进行跟踪，所以可以利用贝叶斯肤色分类方法去除手腕以上的非肤色部分。
　　 (2)利用提取的手势前景和图像边缘建立观测似然模型
　　 在获取手势前景后，可以根据模型投影与手势前景的吻合程度来建立一个相似似然函数。图像前景提取的好坏在很大程度上受光照条件的影响，当提取的结果不够完整时，会影响相似似然值的精确性。图像边缘作为一种基于图像梯度变化提取的特征，对光照变化具有很好的鲁棒性。此外，在手指存在遮挡时，有时也可以通过边缘得到手指的轮廓。这样，根据模型的投影轮廓和边缘检测得到的图像边缘之间的重合程度建立第二个相似度似然函数。第一个相似似然函数是根据手势前景和模型投影之间非重叠区域的大小来计算二者之间的相似性;第二个相似似然函数是根据图像边缘与模型轮廓间的Chamfer距离来衡量二者的相似性的。为了有效地将二者应用在后续的粒子滤波跟踪中，根据二者计算的权值的方差定义了一种结合方法。
　　 (3)引入手势约束关系，降低模型自由度
　　 将常用的手势约束关系引入到三维手势模型中，利用静态约束关系来定义每个关节角度的变化范围;利用动态约束关系来描述关节角度间的线性关系，当用这些线性关系来描述关节的运动时，可以将手势自由度由原来的26个降为14个。在应用这些手势约束后，可以使三维手势模型更接近真实的人手，避免了病态手势的出现，同时也降低了跟踪所需的自由度。
　　 (4)引入分解采样方法，降低跟踪所需的粒子数
　　 在利用粒子滤波技术来跟踪三维手势运动时，需要根据在手势状态空间中采集的样本来近似手势状态的后验分布。由于手势状态是一个高维状态，且粒子滤波的一个缺点就是样本数量会随着状态维数的增加呈指数形式增长。为了降低跟踪过程所需的粒子数，将分解采样方法引入粒子滤波当中，将自由度分为全局自由度和局部自由度，先对全局自由度进行跟踪，再对局部自由度进行跟踪，由粗到细，逐步求精，最终得到最优手势估计状态，有效地降低了所需的粒子数目。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 研究现状及存在的问题

1．2．1 肤色分割

1．2．2 三维运动人手跟踪

1．3 本文研究内容和组织结构

第二章 三维运动人手跟踪平台

2．1 跟踪基础平台

2．2 手势模型自动初始化

2．3 基于数字手套的手势跟踪平台

第三章 手势分割

3．1 引言

3．2 基于高斯混合模型的肤色分割

3．2．1 颜色空间

3．2．2 高斯混合模型(GMM)

3．2．3 肤色建模

3．2．2 实验结果

3．3 背景差分结合贝叶斯分类器的肤色分割方法

3．3．1 背景差分方法

3．3．2 颜色模型

3．3．3 背景建模

3．3．4 贝叶斯肤色分类

3．3．5 实验结果

3．4 本章小结

第四章 观测似然模型

4．1 引言

4．2 基于边缘特征的相似性度量

4．2．1 边缘检测

4．2．2 Chamfer距离匹配和距离变换

4．3 基于前景特征的相似性度量

4．4 观测似然模型

4．5 实验结果

4．6 本章小结

第五章 融入分解采样的三维运动人手跟踪

5．1 引言

5．2 粒子滤波技术

5．3 人手模型与手势约束关系

5．3．1 人手模型

5．3．2 手势约束关系

5．3．4 引入分解采样的跟踪方法

5．3 实验结果

第六章 结论和展望

6．1 全文总结

6．2 下一步工作计划

参考文献

致谢

附录