基于三维捕获数据的人体运动分析关键技术研究

摘要

二十世纪九十年代以来，随着运动捕获技术的兴起，以及设备技术的进步，大量的三维人体运动捕获数据生成，并被广泛的应用在计算机动画，游戏，医学仿真，电影特技等领域。在此背景下，基于运动捕获数据的研究，已经成为近年来计算机视觉，图形学研究领域和动漫应用领域的一大热点。 随着大量三维人体运动捕获数据库的出现，使得如何对人体运动数据进行高效分析和处理，从而有效利用运动捕获数据库成为一个新的挑战。在这些挑战中，如何从复杂的人体运动中找到能正确表达运动信息的本质特征，如何从浩如烟海的运动数据中检索出用户所需要的运动，以及如何去合理高效的重用处理后的运动数据，都是该领域关心的热点问题。 本论文的目的是针对基于三维捕获数据的人体运动分析处理技术的上述关键问题，研究如何正确的提取人体运动的特征，如何不失真的对运动数据进行降维以及索引，探索如何用机器学习的方法对运动库的数据进行自动分析，以及如何结合子空间的方法对人体运动进行编辑和合成，从而实现利用运动捕获数据库进行动漫创作，电影特技制作等实际应用。主要完成了以下工作： 1．运动捕获数据的特征提取。不同于传统的运动特征提取方法，考虑运动的几何结构能够较真实地反映运动内在属性。二维的几何特征只能较好的表达运动的局部几何结构，本文提出的三维时空特征则从全局几何结构角度出发，不仅能够有效表达各个关节点独立运动信息，而且能够反映关节点之间相互作用的运动属性。 2．运动的特征数据的降维和分段。提取出来运动特征维数较高，为了克服维数灾难，实现运动数据的识别和检索，本文利用主成分分析(Principal ComponentsAnalysis，PCA)和扩展等距特征映射(Isometric Feature Mapping，ISOMAP)方法对高维运动特征进行线性和非线性降维。同时，对于长运动序列，还利用上述方法对运动数据在子空间进行分段，将其分解为单个运动类型的短运动片段，以利于后续分析和处理。 3．运动数据的高效索引和快速匹配。为了适应大规模数据库的需要，本文对降维分段等预处理之后的运动数据提出了基于决策树，多示例学习和集成学习的有效索引方法以过滤绝大部分和查询例子不相关的运动样例，综合考虑人体各个关节点对运动影响的重要性，达到加速检索的目的。 4．基于子空间的运动编辑和合成。由于运动数据在子空间的内在隐藏属性能够在子空间被反映出来，本文提出了对运动数据在流形子空间进行线性和非线性映射，从而分离出风格参数的方法，进而对其进行编辑生成新风格运动。 5．系统实现。本文实现了上述运动捕获数据的分析处理技术和方法，并给出了人体运动检索和运动编辑合成的结果。

目录

文摘

英文文摘

第1章绪论

1.1研究动机

1.2研究问题以及现状

1.3本文贡献

1.4本文组织

第2章相关研究综述

2.1运动捕获技术简介

2.2运动捕获数据的预处理技术及相关研究

2.2.1运动捕获数据的特征提取

2.2.2降维技术相关研究

2.3运动数据的索引和检索相关研究

2.3.1运动数据的索引

2.3.2相似度的计算和匹配

2.4机器学习技术以及相关研究

2.4.1决策树

2.4.2多示例学习

2.5三维运动捕获数据的重用

2.6 小结

第3章三维人体运动捕获数据的特征提取

3.1人体运动模型

3.2人体骨骼特征

3.2.1骨骼夹角特征

3.2.2骨骼球坐标特征

3.3二维几何特征

3.4三维时空特征的提取

3.4.1三维时空特征的提出

3.4.2三维时空特征的计算

3.4.3三维时空特征的时间特性提取

3.4.4提取关键时空和索引

3.4.5运动的语义特征

3.5小结

第4章运动捕获数据降维以及分段

4.1运动数据的降维

4.1.1线性主成分分析降维

4.1.2非线性流形学习(ISOMAP)降维

4.2基于子空间的长运动序列的分段

4.2.1利用PCA线性子空间的运动分段

4.2.2利用ISOMAP非线性子空间的运动分段

4.3用马尔科夫链构建运动时间动态模型

4.4实验结果

4.4.1 PCA和ISOMAP的降维效果的比较

4.4.2ISOMAP与扩展Map方法性能比较

4.4.3运动分段方法的实验分析和比较

4.5 小结

第5章大规模三维人体运动库的有效索引

5.1检索树索引

5.1.1基于动态聚类的运动检索树的构造

5.1.2基于PCA子空间的索引树

5.2基于边界的索引

5.2.1较低边界的计算

5.2.2边界函数的求解

5.2.3基于边界函数的R树索引

5.2.4搜索算法

5.3双向参考点索引

5.3.1参考索引的定义

5.3.2参考点的选取

5.3.3参考点和数据库之间的映射

5.4基于时空特征的快速检索

5.5运动匹配

5.6实验结果

5.7 小结

第6章基于机器学习的运动识别

6.1集成的多示例决策树

6.1.1决策树的生成

6.1.2多示例学习的决策树

6.1.3集成学习

6.2基于集成隐马尔科夫模型的运动识别

6.2.1隐马尔可夫模型的介绍

6.2.2基于三维时空特征的隐马尔科夫模型

6.2.3集成学习的隐马尔科夫模型

6.3实验结果

6.3.1决策树性能的评估

6.3.2集成学习的决策树的性能

6.3.3集成学习的隐马尔科夫模型的运动识别和检索实验分析

6.4小结

第7章基于低维子空间的运动编辑与和合成

7.1基于PCA的线性子空间运动风格编辑

7.1.1运动风格分析模型

7.1.2新风格运动生成

7.2基于ISOMAP的非线性子空间运动风格编辑

7.2.1非线性降维

7.2.2非线性映射

7.2.3分离风格参数

7.2.4求解风格参数和内容参数

7.3小结

第8章系统构造及运行结果

8.1系统简介

8.2运动跨媒体综合检索

8.2.1查询意图多模态表达

8.2.2检索结果多类型浏览

8.3基于子空间的运动合成

8.4基于PCA的线性子空间运动风格处理

8.5基于ISOMAP的非线性子空间运动风格处理

8.5.1非线性子空间的运动编辑

8.5.2非线性子空间的运动风格生成

8.6 小结

第9章结论与展望

9.1结论

9.2展望

参考文献

攻读博士学位期间发表的论文及科研情况

致谢