面向MPEG-4模型基编码的人脸分析与合成

摘要

MPEG-4作为集中各种多媒体应用于一体的新一代压缩标准得到广泛应用，而其中基于内容的编码标准因其应用的优势成为MPEG-4标准的重要特色之一。本文选择视频信息中频繁出现的视觉对象--人脸作为编码内容，开展面向MPEG-4模型基编码人脸分析与合成的理论和方法研究。该项研究工作涉及到三个主要环节：面向MPEG-4的人脸建模、以人脸动画参数提取为目的的人脸分析，以及利用人脸动画参数进行模型驱动的人脸合成。 在人脸建模方面，本文提出一种面向MPEG-4基于三维形变模型进行自动化人脸重建的方法。该方法针对基于重采样的规格化人脸数据进行网格简化，以便适用于MPEG-4模型基编码应用下的人脸重建，最终采用三维形变模型得到用于人脸运动分析和动画的人脸模型。 在人脸分析方面，结合状态预测的解析优化，本文提出一种基于图象配准原则提取人脸动画参数的算法。针对有表情图像的面部跟踪，通过引入预测模型来约束优化搜索范围，更加合理地描述搜索空间，以指导搜索的正确进行，加快速度，提高效率。为综合考虑整体残差和局部残差表达的合理性，提出一个新的衡量图像配准的相似度准则，计算面部特征点的刚性和弹性位移，并最终转化为可供合成端进行人脸动画驱动的面部动画参数。另外，针对有较大刚性运动图像的面部跟踪，提出结合头部姿势估计进行面部特征跟踪的方法。引入头部姿势估计调整人脸网格模型进行全局移动，通过对图像之间的刚性运动进行补偿，使跟踪在新的位置上继续，以便加快迭代速度。 在人脸合成方面，本文提出基于局部训练的控制点运动扩散算法和基于独立分量分析(ICA)的人脸全局动画驱动模式。为了进行人脸动画的全局调整和运动特性分析，本文基于局部训练建立面部动画参数控制点与非控制点之间的运动关系模型，基于独立分量分析抽取人脸动画基本模式，构建可以组合表达真实人脸运动的独立分量主元，给出更加紧致准确的一般人脸动画表达模式，改善人脸动画的真实性。 在以上各项研究的基础上，本文最终构建了面向MPEG-4模型基编码，针对人脸视频进行人脸分析和合成的原型系统。该系统可以完成从特定人脸建模，基于视频分析的人脸动画参数提取，到基于动画参数驱动的人脸视频合成等各部分功能。

目录

文摘

英文文摘

论文说明：图表目录

独创性说明及关于论文使用授权的说明

第1章绪论

1.1研究背景及意义

1.2面向MPEG-4的模型基编码

1.2.1人脸模型基编码的一般框架

1.2.2面向MPEG-4模型基编码的参数标准

1.2.3面向MPEG-4模型基编码的应用

1.3研究现状分析

1.3.1人脸建模

1.3.2人脸分析

1.3.3人脸合成

1.4本文的研究成果

1.5本文的组织结构

第2章面向MPEG-4模型基编码的人脸建模

2.1引言

2.2基于正交图像的建模方法

2.3基于三维形变模型的自动化建模方法

2.4构建面向MPEG-4模型基编码的三维人脸库

2.4.1基于重采样的人脸数据规格化

2.4.2可控的网格简化

2.4.3人脸模型的可控网格简化

2.4.4网格简化中的纹理调整

2.5基于三维形变模型的人脸建模

2.5.1基于三维形变模型的人脸建模

2.5.2本文用于模型基编码的人脸模型

2.6与其他方法的比较

2.7小结

第3章基于预测解析的人脸分析

3.1引言

3.2表情空间中的人脸变化状态

3.3基于解析优化的人脸特征跟踪

3.4优化方法的改进

3.4.1改进的优化准则

3.4.2基于预测模型的解析方法

3.4.3改进的仿射变换计算

3.5实验结果

3.5.1改进的优化准则

3.5.2基于预测模型的解析优化

3.5.3改进的仿射变换计算

3.5.4最终实验结果的评价

3.6与其他方法的比较

3.7小结

第4章结合头部姿势估计的面部特征跟踪

4.1引言

4.2基于面部知识的块匹配算法

4.2.1基于反馈的运动预判

4.2.2基于内容的缩放因子

4.3基于透射模型的头部姿态估计

4.4结合头部姿势估计的面部特征跟踪

4.5实验结果

4.5.1基于面部知识的块匹配算法

4.5.2基于透射模型的头部姿态估计

4.5.3结合姿势估计的面部特征跟踪

4.6小结

第5章基于一般动画模式的人脸合成

5.1引言

5.2基于一般动画模式的模型驱动

5.2.1基于区域分割独立驱动的动画技术

5.2.2基于一般动画模式的模型驱动

5.3基于ICA的一般人脸动画模式建立

5.3.1数据获取

5.3.2独立分量分析

5.3.3基于FASTICA的人脸动画基本模式抽取

5.3.4 ICA与PCA的比较

5.4基于局部训练的表情映射

5.4.1表情映射区域的确定

5.4.2表情映射区域的变形模拟

5.5实验结果

5.6与其他方法的比较

5.7小结

第6章集成系统的设计与实现

6.1系统的整体框架

6.2系统设计与实现

6.2.1人脸建模

6.2.2人脸分析

6.3.3人脸合成

6.3小结

第7章结论与展望

7.1本文的工作

7.2未来的工作

参考文献

发表论文

致谢