基于压缩感知理论的三维人脸快速重建方法

摘要

本发明公开了基于压缩感知理论的三维人脸快速重建方法，属于图像处理的技术领域。所述重建方法将压缩感知理论引入到样本的线性组合中，筛选出与测试样本相似度高的训练样本，精简了样本库，通过在相似样本上的重建加快了重建速度并提高了重建精度。

说明书

技术领域

本发明公开了基于压缩感知理论的三维人脸快速重建方法，属于图像处理的 技术领域。

背景技术

近年来，由于模式识别、计算机视觉技术的不断发展，基于人脸面部的应用 逐渐兴起，随着人脸检测、人脸识别等应用的逐渐商业化，人们意识到以二维图 片形式表达的人脸信息在实际处理中普遍受到光照、姿态等条件的制约。因此， 对人脸的研究也逐渐由二维平面转向三维空间。作为三维人脸数据的预处理部 分，传统三维信息的获取通常采用直接扫描的方式，需要昂贵的硬件条件和参与 者的密切配合。而直接利用现有的二维图片进行人脸信息的三维重建由于操作简 单、成本低廉成为当前研究的热点。

作为人脸三维重建的基本方法之一，文献(Computer Graphics Proceedings, SIGGRAPH’99,Los Angeles,New York,1999:187-194.)提出的形变模型受到 学者的广泛关注，它的本质是根据已有的相关样本，利用线性组合的思想，将其 张成为该类对象的子空间，通过该空间的基来表示类中的特定实例。由于形变模 型需要通过迭代求解全局优化问题，所需时间较慢，文献(it-Information  Technology,vol.44,no.6,pp.295-302,2002.)提出根据面部少量特征点近 似求解形变参数来恢复人脸深度信息的方法，即稀疏形变模型方法。目前，大多 数三维重建算法及后续工作都是建立在稀疏形变模型的基础上。考虑到形变模型 求解过程中部分系数可能与本次形变无关，文献（软件学报,2009, 20(3):724-733）等人提出了一种动态选取主成分的方法(DCDM)，并在此基础上 提出双形变模型(DDF)，有效提高重建精度。但就总体而言，目前的稀疏形变模 型方法在速度和精度上仍存在一定缺陷，故目前的研究主要集中在提高速度和提 高精度两方面。

不同人面部形状之间的差异可能会很大，而现行的三维人脸重建方法普遍基 于线性类思想，将所有的人脸样本看作同一类，并没有考虑到训练样本库中的样 本与测试样本的差异性可能对重建结果带来的影响。对于人脸测试样本，如果样 本库中存在多个与之形状差异较大的训练样本，则显然会导致重建结果出现偏 差。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了基于压缩感 知理论的三维人脸快速重建方法。

本发明为实现上述发明目的采用如下技术方案：

基于压缩感知理论的三维人脸快速重建方法，包括如下步骤：

步骤1，初始化三维人脸样本库，构建二维人脸样本库，标定二维图片特征 点；

步骤2，根据压缩感知理论筛选二维人脸样本库得到优化的二维人脸样本库；

步骤3，优化三维人脸样本库，求解形变因子并重建三维人脸形状。

所述基于压缩感知理论的三维人脸快速重建方法中，步骤2按照如下方法得 到优化的二维人脸样本库：

步骤2-1，引入一组正交规范基作为感知矩阵N，以N·(S^p)^f为观测矩阵， 以为观测集合，求得二维训练样本组合系数矩阵，所述二维训练样本组 合系数矩阵为从观测集合到观测矩阵的投影矩阵，

其中，(S^p)^f为根据标定的二维图像特征点取出所有三维样本对应特征点的 二维投影，为待重建三维人脸形状对应特征点的二维坐标；

步骤2-2，将二维训练样本组合系数按照平方值从大到小排列，选取满足阈 值要求的前k个二维训练样本组合系数，前k个二维训练样本组合系数组成的二 维训练样本组合系数最优解，二维训练样本组合系数最优解对应的二维人脸样本 构成优化的二维人脸样本库，其中，k为自然数。

所述基于压缩感知理论的三维人脸快速重建方法中，步骤3的具体实施方法 如下：

步骤3-1，对步骤2得到的优化的二维人脸样本库投影得到优化的三维人脸 样本库S'；

步骤3-2，根据优化的三维人脸样本库S'求解优化的三维人脸样本库的平均 模型对优化的三维人脸样本库做取均值化处理

步骤3-3，利用表达式β=(P^T·P+ηΨ)^-1·P^T求解形变因子β，

其中，η为引入的扰动因子，Ψ为由步骤2-2所述二维训练样本组合系数 最优解的绝对值构成的矩阵；

步骤3-4，重建三维人脸形状

本发明采用上述技术方案，具有以下有益效果：

（1）压缩感知理论引入的感知矩阵，压缩了了二维人脸样本库，并根据优 化二维人脸样本库在三维人脸样本库中对应的二维投影进而压缩三维人脸样本 库，在压缩后的样本库上直接重建，避免了传统方法需要经过大计算量的降维过 程，减少了重建时间，提高了重建效率；

（2）重建形变系数的计算避免了特征点的过拟合而导致重建结果严重变形 的缺陷；

（3）通过压缩样本库，选取出与测试样本最相似的训练样本，提高了重建 精度。

附图说明

图1为基于压缩感知理论的三维人脸重建方法的流程图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

如图1所示，基于压缩感知理论的三维人脸重建方法，包括如下步骤。

步骤1，初始化三维人脸样本库，构建二维人脸样本库，采集二维图片特征 点的标定：三维人脸样本库的规范化在于实现样本库中人脸姿态的校正、三维人 脸点集的重采样和点的对应；由三维人脸样本库按照正交投影的方式可以得到二 维样本库；输入二维图片特征点的标定可采用手动标定或自动确定的方式，二维 面部特征点在三维模型中存在对应的特征点。

假设由三维样本库S投影得到的二维人脸样本库可以表示为 其中，第i个二维训练样本s_i^p=(x₁,y₁,x₂,y₂,...,x_q,y_q)^T， p代表投影操作，x₁,y₁,x₂,y₂,...,x_q,y_q为第1至第k个二维图片特征点的二维坐 标。根据线性类思想，待重建二维人脸坐标可以表达为：

$s_{\mathrm{new}}^{2D}=\underset{i=1}{\overset{m}{\Sigma }}{\alpha }_i{s}_i^p={\alpha }_1{s}_1^p+...+{\alpha }_m{s}_m^p---\left(1\right),$

式（1）中，令α=(α₁,α₂,…,α_m)^T，α即为二维训练样本组合系数矩阵。

假设某空间的一组正交规范基B=(b₁,b₂,...,b_n)，该空间的任意矢量信号 b_new可以表示为：

$b_{\mathrm{new}}=\underset{i=1}{\overset{n}{\Sigma }}{\theta }_i{b}_i=\mathrm{B\Theta }---\left(2\right),$

式（2）中，Θ=[θ_i]=B^-1b_new=B^Tb_new为投影系数构成的列向量。如果Θ中的 非零个数远小于n则表明该信号是可以压缩的。与PCA中的思想类似，可以用k 个较大的系数很好地逼近b_new。压缩感知的首要条件是通过某种变换使得信号 b_new稀疏，这里设b_new经过B的变换是稀疏的，则可以用与B无关的观测基对Θ 进行线性变换，得到观测集合。设观测基（即为感知矩阵）为Ν，则观测集合 y=Ν·b_new=N·B·Θ，令为观测矩阵且满足d<<n，利用优化求 解的方法可以从观测集合y上高概率重构原始信号b_new，即求解等式：

y=AΘ           (3)，

当A的行数大于或者等于列数时，等式（2）有唯一解，可以通过求广义逆直 接解出；当行数小于列数时，解矢量Θ不唯一，可以通过求最小l¹范数解来确定 等式的最稀疏解。求min||Θ||₁是一个线性规划问题，可以迭代求解。

步骤2，根据压缩感知理论筛选二维人脸样本库S^p得到优化的二维人脸样本 库

根据标定的二维图像特征点取出所有三维样本对应特征点的二维投影，即相 当于在二维样本库上取出待重建三维人脸形状对应的特征点。有：

(S^p)^f=L·S            （4），

式（4）中，L表示三维空间的选点和投影过程，f表示选点操作。同时，由 于已知待重建三维人脸形状对应特征点的二维坐标式（1）可以转化为 以二维图片特征点表示的方程：

${\left(s_{\mathrm{new}}^{2D}\right)}^f=\alpha ·{\left(S^p\right)}^f={\alpha }_1{\left(s_1^p\right)}^f+{\alpha }_2{\left(s_2^p\right)}^f+...+{\alpha }_m{\left(s_m^p\right)}^f---\left(5\right),$

引入感知矩阵N，得到观测矩阵A=N·(S^p)^f和观测集合设将 上述A和y带入式（3），利用迭代寻优算法可以求其最小l¹范数解，最小l¹范数 即为投影矩阵，投影矩阵各元素即为二维训练样本组合系数，最小l¹范数即即可 认为是二维训练样本组合系数矩阵α的最优解。

根据式（1）可知，二维训练样本组合系数矩阵α最优解中较大系数对应的二 维训练样本与输入的二维图像形状较为相似，而较小的系数对应的二维训练样本 与输入的二维图像差异较大。考虑到形状不相似的样本会对重建结果产生较大影 响，故考虑对二维训练样本进行筛选。

在求得二维训练样本组合系数矩阵α中选取值较大的m'个分量，对应选取 m'个二维训练样本，则待重建二维人脸可以近似表示为：

$s_{\mathrm{new}}^{2D}=\underset{j=1}{\overset{m^{\prime }}{\Sigma }}{\delta }_j{s}_j^p={\delta }_1{s}_1^p+{\delta }_2{s}_2^p+{\delta }_j{s}_2^p+{\delta }_j{s}_j^p+...+{\delta }_{m^{\prime }}{s}_{m^{\prime }}^p---\left(6\right),$

式（6）中，δ_j为筛选后的二维样本组合系数，为与筛选后的二维样本组 合系数对应的二维样本。

筛选二维样本组合系数具体步骤为：令α^T=(α₁,α₂,…,α_m)，将组合系数全部 取绝对值，得到α^'T=(|α₁|,|α₂|,…,|α_m|)。将α'按照从大到小的次序排列，对前m'项 求平方和，直到其满足设置的阈值。阈值可以设置为所有组合系数平方和的百分 比，以此来去除组合系数中较小量的存在，达到筛选样本的目的。

步骤3，将步骤2所述的优化的二维人脸样本投影得到优化的三维人脸样本 库，重建三维人脸形状：

令为经过二维样本组合系数筛选出的优化三维 人脸样本库，则此时待重建人脸的三维形状可以表达为：

$s_{\mathrm{new}}^{3D}=c_1{s^{\prime }}_1+c_2{s^{\prime }}_2+...+c_{m^{\prime }}{s^{\prime }}_{m^{\prime }}---\left(7\right),$

式（7）中，c_i为三维样本组合系数。式（7）同时可以写为：

$s_{\mathrm{new}}^{3D}=\overline{S^{\prime }}+Q·\beta ---\left(8\right),$

式（8）中，为筛选后三维人脸样本库的平均模型。为优化的三 维样本去均值化后的结果，β为重建形变系数。

步骤4，在步骤3平均模型基础上进行重建，进而得到根据输入二维图片重 建的三维人脸形状：

选出步骤1中标定的特征点在Q中所对应的二维坐标数据P，在中选出步 骤1标定的特征点在平均模型中对应的二维坐标数据d_ave，则根据式（5）和式 （8）有：

${\left(s_{\mathrm{new}}^{2D}\right)}^f=d_{\mathrm{ave}}+P·\beta ---\left(9\right),$

反解式（9）可以得到：

β=P⁺△d               （10），

式（10）中，P⁺为P的伪逆矩阵，有P⁺=(P^T·P)^-1·P^T，显然，如果直接反解式（10）会带来特征点的过拟合而导致重建结果严重变形， 故定义如下求解式：

β=(P^T·P+ηΨ)^-1·P^T           （11），

其中，η为引入的扰动因子，Ψ为经过压缩感知理论选出样本的相关系数 绝对值构成的矩阵α'=(|α₁|,|α₂|,…,|α_m|)^T。

将式（11）带入式（8）即可得到最终的重建三维形状，即：

$s_{\mathrm{new}}^{3D}=\overline{S^{\prime }}+Q·{(P^T·P+\mathrm{\eta \psi })}^{-1}·P^T---\left(12\right).$

与经典形变模型算法相比，本算法(SRCS，英文全称是Sparse Reconstruction  from CompressiveSensing)速度得到了极大的提高，即使与目前速度较快的稀疏 数据重建算法(SRSD，英文全称是Sparse Reconstruction from Sparse Data)和稀疏 形变模型算法(SDM，英文全称是Sparse Deforming Model)相比，本算法速度仍 可提高10倍左右，这表明算法的复杂度和运行效率均较常见算法有了很大的改 进。从稀疏形变模型算法和压缩感知算法的实现过程比较也可以看出本文所提出 算法在速度上具有的优势。对于m×n的样本矩阵，经典算法首先需要进行PCA 降维，传统PCA方法的时间复杂度为Ο(mn²)，当样本维度增加时，其时间复杂 度也以维度平方的速度随之剧增。而采用OMP算法的压缩感知的方法时间复杂 度仅为Ο(mn)，对于维度较大的矩阵，算法速度上的优势明显。

不同人面部形状之间的差异可能会很大，而现行的三维人脸重建方法普遍基 于线性类思想，将所有的人脸样本看作同一类，并没有考虑到训练样本库中的样 本与测试样本的差异性可能对重建结果带来的影响。对于人脸测试样本，如果样 本库中存在多个与之形状差异较大的训练样本，则显然会导致重建结果出现偏 差。由于面部形状的相似性可以反映在样本组合系数的大小上，本方法在重建前 筛选出训练样本中与测试样本相似性较大的样本，将它们视为一个子类并在这个 子类上进行重建，能够提高经典方法的精度。而压缩感知理论，由于其近似可以 不失真地压缩和回复信号，可以作为筛选样本的有效方法。

为测试精度，实验将重建后的三维数据与由激光扫描仪得到的原始数据直接 比较，选择平均欧氏距离作为评价标准，即：

$e_{\mathrm{euc}}(S_o,S_r)=\frac{1}{\left|V\right|}\underset{i\in V}{\Sigma }\left|\right|V_{o,i}-V_{r,i}\left|\right|---\left(13\right)$

式（13）中，S_o,S_r分别是两个形状的曲面，V是曲面上的顶点集合。V_o,V_r分别是S_o,S_r上的顶点。

SRSD、SDM、SRCS三种方法的重建误差表1所示：

方法 SRSD SDM SRCS 欧式误差(mm) 7.79 8.55 6.39

表1重建误差比较

下面选取了4篇已有文献公开的重建算法，与SRSD、SRCS的重建时间做了 对比，比较结果如表2所示：

方法 文献[1] 文献[2] 文献[3] 文献[4] SRSD SRCS 重建时间 4.5min 约4min 2s 4.12min 4.18s 0.42s

表2

文献[1]V.Blanz,T.Vetter.Amorphablemodelforthesynthesisof3Dfaces[C]. ComputerGraphicsProceedings,SIGGRAPH’99,LosAngeles,NewYork, 1999:187-194。

文献[2]胡永利.真实感三维人脸建模及应用研究[D].北京:北京工业大 学,2004:23-24。

文献[3]龚勋,王国胤.基于特征点的三维人脸形变模型[J].软件学报, 2009,20(3):724-733。

文献[4]尹宝才,何晏晏,孙艳丰等.三维人脸的非均匀重采样对齐算法 [J].北京工业大学学报,2007,33(2):213-218。

综上所述，本发明具有以下有益效果：

（1）压缩感知理论引入的感知矩阵，压缩了了二维人脸样本库，并根据优 化二维人脸样本库在三维人脸样本库中对应的二维投影进而压缩三维人脸样本 库，在压缩后的样本库上直接重建，避免了传统方法需要经过大计算量的降维过 程，减少了重建时间，提高了重建效率；

（2）重建形变系数的计算避免了特征点的过拟合而导致重建结果严重变形 的缺陷；

（3）通过压缩样本库，选取出与测试样本最相似的训练样本，提高了重建 精度。