基于人体模型构建的无标识运动捕捉关键技术研究

摘要

无标识人体运动捕捉研究因其广泛的应用价值和学术价值，一直是计算机视觉领域内的研究热点。近年来，随着计算机软硬件的飞速发展，运动捕捉领域的研究不再仅仅局限于人体运动学姿态估计的动作捕捉，而是扩展到了从图像序列或视频中捕捉人体外形变化的表面捕捉。如今，表述人体姿态的运动数据已被广泛应用于影视娱乐等各个领域。与此同时，与每一帧相对应的捕捉对象的三维人体外形在影视、动漫、游戏、工业设计等领域也有很广泛的应用。
　　本文围绕着基于人体模型构建的无标识运动捕捉这一课题开展工作，对其中的关键问题进行了深入的探讨，重点研究了以下三个问题:一是如何从图像序列中捕捉对应帧的三维人体外形;二是如何构建参数化人体模型，并用其生成动作捕捉的初始化模型;三是如何基于精细的三维人体模型结合局部优化和全局优化算法进行人体姿态估计，取得了如下研究成果:
　　1.提出了一种基于三维模板模型的人体姿态和外形分步匹配的框架PSMA(Pose& Shape Model Adaptation)。该框架首先通过模板模型姿态的变换与目标图像中人体姿态相匹配，然后再进行模板模型的外形匹配。由于人体模型在外形变化时可能会引起人体姿态的微变，需要对人体的姿态进行二次的优化来得到最优解。三维模板模型取自各部分肢体轮廓显示清晰的首帧图像，可通过三维扫描或三维重建算法生成。姿态的变换通过内嵌的骨架来实现，外形的匹配通过拉普拉斯变形技术来实现。该框架适用于人体穿普通衣服或宽松衣服的场景中，可以有效的解决立体视觉算法重建出来的人体模型有拓扑错误的问题，并通过实验证实了其可行性。
　　2.提出了一种基于人体参数化模型SCAPE来估计人体模型姿态参数和体型参数的方法。该方法将SCAPE模型应用在PSMA框架中，生成了可用于人体运动捕捉的初始化模型。模型姿态的变换通过内嵌的骨架来实现，而人体外形的匹配则是利用人体模型投影轮廓与图像轮廓的匹配误差，通过最优化一个像素距离函数来估计人体体型参数和姿态参数，得到了与捕捉对象相近的三维人体模型。通过用生成的三维人体模型与真实三维人体扫描模型或三维重建算法获得的模型做比较，证明了方法的有效性。
　　3.提出了一个基于人体姿态先验知识约束的粒子能量函数。基于此函数，结合局部优化和全局优化算法，用于人体姿态的精确估计。该方法不仅利用人体轮廓匹配，也利用相邻图像帧的纹理匹配，提高了局部优化算法的精度。利用能量函数对用于全局优化算法巾的粒子状态进行约束，有效的减少了粒子的使用数目和运行迭代次数，提高了算法的效率。同时，与采用粗糙的棍棒模型相比，用精细的人体模型具有更高的捕捉精度，并用实验进行了对比验证。

目录

声明

致谢

摘要

1 绪论

1．1 选题的背景与意义

1．2 人体外形和动作捕捉的研究现状

1．2．1 人体外形捕捉

1．2．2 人体动作捕捉

1．3 论文的研究内容与结构安排

1．3．1 论文的内容和成果

1．3．2 论文的结构安排

2 基于模型的无标识人体外形和动作捕捉概述

2．1 人体模型的表示方法

2．2 人体运动捕捉的系统框架

2．3 人体外形捕捉

2．4 人体动作捕捉

2．4．1 局部优化算法

2．4．2 全局优化方法

2．4．3 人体先验知识约束

2．5 本章小结

3 基于模型的三维人体外形捕捉

3．1 引言

3．2 相关技术

3．2．1 摄像机模型

3．2．2 人体刚性运动描述

3．2．3 Shape-from-Silhouettes算法介绍

3．3 方法概述

3．4 人体姿态匹配

3．5 人体外形匹配

3．5．1 拉普拉斯网格处理技术

3．5．2 模型变形框架

3．6 实验分析

3．7 本章小结

4 参数化人体模型及动作捕捉初始化模型构建

4．1 引言

4．2 研究现状

4．2．1 参数化人体模型构建

4．2．2 基于图像的人体模型外形和姿态初始化

4．3 统计学分析方法

4．3．1 离散数据插值

4．3．2 主成分分析

4．3．3 多线性分析

4．3．4 特征相关

4．4 SCAPE模型的构建

4．5 基于可变形模型的人体外形估计

4．5．1 方法概述

4．5．2 算法实现

4．6 实验分析

4．7 本章小结

5 结合局部优化和全局优化算法的人体姿态估计

5．1 引言

5．2 人体姿态参数化

5．2．1 指数公式

5．2．2 刚性人体运动的指数映射

5．3 人体模型结构

5．4 方法框架

5．5 局部优化算法

5．5．1 3D-2D匹配

5．5．2 加权最小二乘法

5．5．3 匹配错位检测

5．6 全局优化

5．6．1 退火粒子滤波

5．6．2 交互式模拟退火

5．6．3 全局优化的姿态估计

5．6．4 姿态约束的能量函数

5．7 实验分析

5．7．1 局部优化算法的分析实验

5．7．2 全局优化算法的分析实验

5．7．3 采用不同模型的对比实验

5．8 本章小结

6 结束语

参考文献

作者简历及攻读博士学位期间取得的研究成果

学位论文数据集