三维人脸真实感及动态数据获取与应用

摘要

三维测量技术已经广泛应用于工业、航天、军事、医学、艺术等各个领域。目前，大部分三维测量技术的应用以对静态物体进行精密测量（尤以接触式三坐标测量机为代表）或三维曲面重构（尤以逆向工程为代表）为最终目的。很多研究工作都是基于这两个基本点展开，并已经在测量精度、速度等方面取得了许多可喜的成果。然而，典型的三维测量方式终究是以获取死板的三维点坐标为核心目标的，不能直接提供某些艺术品加工中所需要的真实感三维数据，如针对三维人像的激光内雕刻，不仅需要表现人物肖像的三维外形，还需要表现人物面部在自然光线条件下的光影变换效果；另外，由于典型的三维测量方式大部分是针对静态测量目标的，亦不能直接提供被测目标的动态三维数据，如获取三维人脸特征点在视频中的三维运动信息，不仅需要恢复特征点在某一帧内的三维坐标，还需要考虑各帧的连贯性。本文的研究工作就是针对三维人脸数据测量中真实感及动态数据的获取与应用而展开的。
　　 针对三维人脸真实感数据的获取与应用，课题所研究的内容可以归纳为如何应用快速有效、适应人脸测量的三维测量方法与设备及后续的数据处理方法，获取足够精度且具有真实感的三维人脸数据，并如何将其快速有效地雕刻在水晶玻璃内部作为艺术品进行永久保存与展示。其中，真实感并非通常所指的经三维重构后、应用颜色、纹理等技术使人脸模型看起来如何逼真，而是指经过原始三维人脸数据采集、处理之后获得的最终三维点云针对激光内雕刻的特点如何能够惟妙惟肖地表现人物的三维肖像；针对三维人脸动态数据的获取，即对动态（视频中）三维人脸特征点的测量，课题所研究的内容可以归纳为如何在多相机的视频中寻找以及保持特征点（与表情变化密切相关的一些部位）的对应性，从而对其进行动态三维重建，进而为三维表情识别研究工作提供基于特征点的三维人脸数据库，奠定相关研究工作的数据基础。
　　 本文的研究工作及创新点可以归纳如下：
　　 (1)提出了一种基于相机与投影仪（光平面）标定技术的光栅投影式三维人脸测量方法；
　　 针对三维人脸测量的特点，扩展非接触式线结构光测量方法，结合计算机视觉技术，提出了一种新型的、基于相机（单）、光栅投影仪（光平面）标定技术的光栅投影式三维测量系统方法。针对光栅条纹上的某个平面点，通过相机参数可以构造一条空间射线；通过确定该平面点所在的光栅条纹，可以确定其所在的光平面方程（投影仪标定结果），从而确定一个空间平面。空间射线与空间平面求交，即可获取该点的三维坐标。该系统方案不仅具备基本的三维测量功能，为了满足获取真实感三维人脸数据的需求，还进行了额外的硬件设计与改造，使其能够自动控制与协调相机、光栅投影仪和照明设备，对被测者瞬间连续拍摄两幅不同环境下的肖像照片：经光栅投射的肖像照片和无光栅、普通照明条件下的肖像照片。
　　 (2)提出了一种针对激光内雕刻的真实感三维人脸数据获取方法。
　　 光栅投影式三维测量方法能够快速地获取人物面部的三维信息，但是其测量所得的原始数据为呈线状分布的三维点云。为了获取真实感的三维内雕刻数据，本文提出了一种基于瞬间连续拍摄的两幅被测者肖像照片，获取真实感三维人脸点云数据的方法：通过经光栅投射的肖像照片，获得人物面部的三维信息，进而获取其三角片曲面模型；通过无光栅、普通照明条件下的肖像照片，获得人物面部皮肤的光线明暗变换信息，进而将其二值抖动图像上的白色像素点向曲面模型映射，获取最终具有真实感的三维点云。
　　 (3)提出了一种针对线状分布三维点云进行快速曲面重构的动态主动连接法。
　　 为了获取真实感的三维人脸数据，通过光栅投影式三维测量方式得到三维信息之后需要使用三角片重构人脸的曲面模型，从而为纹理图对曲面的映射操作做好准备。从某个角度上来讲，曲面重构是三维人脸原始测量数据与三维人脸真实感数据的桥梁。针对分布存在规律的原始三维点云，由于具备一定的先验知识，不需要使用复杂、计算量大、甚至需要人工干预的通用曲面重构算法。所以，针对线状分布的三维点云，本文提出了一种用于快速曲面重构（三角片方式）的动态主动连接法，该算法具有简单、抗干扰性强、自动化程度高等特点。
　　 (4)提出了基于焦点能量均衡的雕刻点路径优化方法。
　　 为了缩短最终三维数据的雕刻时间，提高雕刻效率，需要对三维点的雕刻路径进行优化，使路径之和最短。通常，为了保证雕刻效果，内雕刻需要对雕刻点分层后逐层进行，并在层内进行局部路径优化。如果能够在不影响雕刻效果的前提下跨越邻近的层进行路径优化，则可以大大缩短最终的雕刻路径。为此，在考虑激光雕刻光路和激光能量分布影响的基础上，借鉴图像处理及投影操作，本文提出了一种判断若干层内雕刻点光路遮挡、计算能量损失状况的方法，以尽可能地或者柔性地扩大一次局部优化点集合中点的数目，减少局部优化的次数，从而达到提高效率、缩短雕刻时间的目的。
　　 (5)构建了一个基于特征点的三维人脸动态数据采集原型。
　　 为了收集基于特征点的三维人脸动态信息，进而为三维表情识别研究工作提供基于特征点的三维人脸数据库，本文构建了一个基于特征点的三维人脸动态数据采集原型。在该原型中，五个同步相机被排列在一个半径大约一米的半圆上，构成四组双目视觉系统，从而覆盖整个人脸的测量范围。在被测者脸部被认为是特征点（与表情变化密切相关）的部位粘贴不同颜色的标记小球，每个双目视觉系统负责脸部固定范围内标记的动态（视频）三维重建，最终所有标记的三维数据都被转化到一个统一的世界坐标系下。对于一个标记而言，在初始化时手工为其分配一个唯一的标识，随后在两个相关相机接下来的视频帧中对其进行跟踪，即可保持其对应性，从而对其进行动态三维重建。考虑到实验室内的环境受影响程度较低，Camshift方法被用来对标记进行跟踪，然后使用Kalman滤波器对跟踪结果进行滤波。为了在自动跟踪时能够对跟踪失败的情况进行自动报警处理，对每个标记在相关两个相机中得到的跟踪位置使用极线约束判断是否跟踪失败。