基于多视图立体视觉和迭代网格变形的个性化人手三维建模

摘要

手是人在与物理世界交互中使用得最为频繁的工具。在虚拟现实和交互游戏中，使用个性化而非通用的人手模型能够提升用户对虚拟环境的沉浸感和认同感，在一定程度上减轻了交互的难度，并提高了交互的准确性。然而构建个性化的人手模型是一项非常具有挑战性的工作，原因在于人手的几何形状极其复杂，并且缺少足够的纹理特征，尤其是在使用低端设备和没有任何标记的情况下。
　　 本文利用网络摄像头，对用户的裸手进行个性化的三维建模。基本思路是首先在点线面三个层次上提取用户手的几何特征，通过立体重建构建三维点云，然后用点云指导通用的人手模板进行网格变形，逐步满足用户手的几何特征。本文综合使用轮廓凸包缺陷点（点层面）、轮廓点（线层面），以及SIFT、SURF和Sobel滤波响应（面层面），描述用户手的几何特征。注意到对于低分辨率的图像来说，这些特征的重要性和可靠性都是依次降低的;并且注意到下一次网格变形所需要的点云与模板之间的顶点对应关系，依赖于上一次网格变形的结果。因此本文提出了一种层次式的构建个性化人手三维模型的方法，即通过逐步网格变形，将通用的人手模板变形到具有用户手的几何特征，从而避免了一次性网格变形中低可靠性的特征冲淡高可靠性特征的情况。随着网格变形的进行，通用的人手模板越来越与用户的手相似，同时对用户手几何特征的准确性要求逐渐降低。这样本文就在低端设备和高精度之间做出了一个合理的折中方案。
　　 具体而言，本文的研究工作和主要贡献包括以下三个方面:
　　 (1)提出了一种新的个性化人手三维建模方法。由于使用了低廉的硬件设备，在人手皮肤图像纹理较弱、缺少足够的强特征的情况下，很难利用传统的视觉三维重建方法直接获得人手的三维模型。为此，本文首先从人手图像中提取点线面三个层次的特征点，并通过三维重建技术获得点云数据，以点云数据为约束，指导通用的人手模板分步进行网格变形，使得模板逐步满足用户手的几何特征，最终获得个性化的人手三维模型。
　　 (2)提出了一种迭代网格变形算法。由于在网格变形中，模板和点云数据之间的顶点对应关系与网格变形处于一种相互依赖、相互耦合的关系，因此本文通过阈值的设置，将这两者交叉迭代进行，逐步获得最佳的网格变形效果。
　　 (3)提出了一种基于单幅图像恢复轮廓三维信息的方法。为了充分利用图像的像素信息，本文要求人手尽量撑满整幅图像。根据本文的实际情况，在双目视觉中，左右视图图像中的人手轮廓并不存在对应关系，因此不能通过特征匹配的方法直接获得人手轮廓的深度信息。本文以双目视觉的三维重建基本原理为基础，假设人手轮廓点的深度信息在经过点特征的网格变形之后保持不变，由此得出轮廓点的近似三维信息。

目录

摘要

第1章 绪论

1．1 选题背景、来源及意义

1．2 国内外研究现状

1．3 本文工作

1．4 本章小结

第2章 人手几何形状的特征提取

2．1 引言

2．2 点特征

2．3 线特征

2．3．1 Grabcut抠图

2．3．2 从单个图像恢复三维轮廓

2．4 面特征

2．4．1 SIFT特征

2．4．2 SURF特征

2．4．3 Sobel滤渡响应

2．4．4 点云与模板的匹配

2．5 实验结果

2．6 本章小结

第3章 多视图立体视觉

3．1 引言

3．2 对比度受限的自适应直方图均衡

3．2．1 算法原理

3．2．2 算法流程

3．2．3 实验结果

3．3 双目立体视觉

3．3．1 针孔成像模型

3．3．2 立体匹配

3．3．3 几何重建

3．4 多视图立体视觉

3．4．1 相机定标与三维重建

3．4．2 实验结果

3．5 本章小结

第4章 几何对齐

4．1 引言

4．2 局部坐标系对齐

4．3 迭代最近点算法

4．4 实验结果

4．5 本章小结

第5章 迭代网格变形

5．1 引言

5．2 径向基函数插值

5．3 拉普拉斯变形

5．4 迭代网格变形

5．5 实验结果

5．6 本章小结

第6章 系统框架与实验结果

6．1 系统框架

6．2 实验结果

6．2．1 实验结果

6．2．2 与径向基函数插值结果相比较

6．2．3 与稠密匹配的重建结果相比较

6．2．4 与泊松表面重建结果相比较

第7章 总结与展望

7．1 本文工作总结

7．2 未来工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢