MPEG-4中人脸视频对象的模型基编码研究

摘要

该文研究了MPEG-4中人脸视频对象的模型基编码,对整个系统进行了全面的分析,将系统按编解码结构分成分析和合成两部分.在图像分析中,利用颜色、灰度和梯度信息寻找特征区域,解决模板初始化位置问题,并用模板匹配方法估计表情运动参数.另外,利用点匹配法跟踪相邻帧特征点的位移,估计头部整体运动参数.并将这些参数转化为符合MPEG-4标准的FAP,进行压缩.根据实际情况,还增加了三个头部平移的FAP.合成部分实现了图像的重建.误差掩盖后的参数通过KD肌肉模型映射为线框模型顶点的运动,然后用纹理映射产生真实感的图像.文中提出了一种符合MPEG-4标准的表情FAP参数的分级描述,可作为FAP的插值规则.为了探讨算法可行性,对合成部分的运算量进行了统计,表明在实验条件下,实现该部分的实时处理是可行的.除了图像分析合成,模型基编码中还有很重要的一个部分就是特定人脸模型的生成.该文讨论了其他研究者在这方面的做法后,提出了一种实用的根据人脸正面视图匹配模型的方案,并开发了ModelMatch工具来实现这一功能.模型匹配分两个步骤:先是用该文提出的径向收缩法满足控制点位置的匹配,然后在此基础上,将线框模型看成是有弹性的,并分不同区域采用不同的调整规则,进行整个线框中其他受控点的调整,匹配出了包含真实纹理的特定人脸模型.论文最后介绍了模型基编码在开发视频聊天系统Grimace Chat中的应用,并展望了今后的工作方向.

目录

文摘

英文文摘

第一章绪论

1.1模型基编码

1.1.1模型基编码简介

1.1.2人脸模型基编码

1.2 MPEG-4中的人脸动画

1.2.1 FDP(Facial Definition Parameter)

1.2.2 FAP(Facial Animation Parameter)

1.2.3 FIT(FAPInterpolation Table)

1.3小结

1.4本文的内容和所做工作

第二章分析部分

2.1脸部检测和特征定位

2.1.1基于特征的方法

2.1.2基于图像的方法

2.2分析端系统结构

2.3线框模型的改进

2.4局部表情特征参数的提取

2.4.1脸部的分割

2.4.2特征区域的定位

2.4.3特征点位置的确定

2.5头部整体运动估计

2.6运动参数到FAP的转化

2.6.1局部表情参数的转化

2.6.2整体运动参数的转化

2.7 FAP参数的压缩

2.7.1 FAP压缩算法

2.7.2编码结果

2.8小结

第三章模型的匹配

3.1模型匹配与分析合成的关系

3.2模型匹配技术

3.3本文的方法

3.3.1径向收缩法

3.3.2受控点的位置计算

3.4 ModelMatch工具

3.5小结

第四章合成部分

4.1合成端系统结构

4.2失真和误差掩盖

4.2.1重绘图像的失真

4.2.2误差掩盖

4.3图像重绘

4.3.1表情FAP参数的分级表示

4.3.2纹理映射

4.4运算量统计

4.4.1模型调整部分

4.4.2纹理映射部分

4.4.3统计结论

4.5皱纹生成模型

4.5.1静态皱纹模型[40]

4.5.2动态皱纹模型[41]

4.6小结

第五章应用实例：Grimace Chat系统

结束语

参考文献

作者发表的文章

致谢