视频中的人体运动捕捉及三维骨架重建

摘要

人体运动捕捉仿真技术在动画制作，机器人控制，医学分析，体育运动分析等领域都有广泛的应用。但是人体运动捕捉仿真技术又是计算机图像中最难处理的问题之一。被测试者身上的服装，被测试者与被测试者之间骨架结构的不同都会影响测试结果。为了避免以上的问题，现在较为普遍运用的人体运动捕捉方法需要被检测者穿上单色的紧身衣，在人体运动过程中，传感器会定时将各个部位的空间定位数据反馈给计算机。但是，这种方法成本相当昂贵，而且很大程度上限制了被测试者的运动。 本文现在研究的视频中的人体运动捕捉(Human Motion Capture)，与上述方法相比起来成本便宜很多。比起其他大型的人体行为捕捉仪器来，视频人体行为捕捉只需要一台或多台摄像机，或者一段已有的视频片段，就可以进行HMC。但是现在的HMC技术，通常只能解决简单的举重，行走之类的人体运动捕捉问题。运用模板图像匹配的方法，将模板中的人体关节位置与视频中的位置进行对比，剔除明显有错误的捕捉参数。显然这种方法不能运用于比较复杂剧烈的人体运动或摄像机拍摄角度不固定的情况。 本文以2007年东亚运动会体操女子团体决赛的几段视频片段为例进行人体运动的捕捉，将虚拟人体模型与视频图像匹配的问题颠倒过来，即为反推法(bottom-up)。首先分析视频图像，再根据捕捉结果重建人体模型。在图像分析中，寻找人体各个部分的问题，可以简化为寻找图像中平行区域的问题。然后根据人体物理约束系统判断关节的位置，判断出这些平行区域是否为人体部分。由于复杂的人体运动视频图像中，存在大量人体部分被遮挡和人体关节不符合人体物理约束系统的情况。本文设计了一套新的捕捉方法——二元参数法，将传统的模板图像匹配法中参数量化，转换成人体关节的约束条件。这个方法很大程度上减少了不符合人体物理约束系统的关节对于最终捕捉结果的影响。 捕捉实验结果显示，二元约束函数可以很有效的捕捉较为复杂的人体运动。相比现在普遍运用的动态树形结构，二元参数法可以捕捉到更为详细的信息；而相比模板图像匹配法，二元参数法可以捕捉的视频范围更广。

目录

文摘

英文文摘

声明

第1章绪论

1.1课题概述

1.1.1课题的题目

1.1.2课题研究的背景

1.1.3课题研究的目的及意义

1.2课题研究的现状

1.3本课题研究的内容

第2章捕捉方法设定

2.1视频序列图像分析

2.2 HMC设计方案

2.3本章小结

第3章人体各部分的捕捉识别

3.1人体边缘识别

3.1.1奇偶场分离

3.1.2边缘检测

3.2寻找图像中的平行区域

3.2.1 Delaunay三角剖分

3.2.2边缘图像中的直线的提取

3.2.3适用平行线的提取

3.2.4平行区域法的优势

3.3本章小结

第4章寻找人体关节

4.1利用人骨骼约束物理系统判定视频图像中关节位置

4.2不符合一般物理约束系统的关节

4.3本章小结

第5章二元参数法

5.1二元参数法的创建思路

5.1.1一般的模板图像匹配方法

5.1.2人体各个部分的拆分

5.1.3二元参数约束的对象

5.2二元参数法的实施具体方法

5.3二元参数法的优势

5.4本章小结

第6章捕捉实验结果分析

6.1初始设定

6.2关键帧选取

6.3参数计算和结果比较

6.4三维骨架模型重建

6.5本章小结

第7章结束语

7.1全文总结

7.2进一步工作展望

参考文献

附录

作者在攻读硕士学位期间发表的学术论文

致 谢