基于实时本征分解的实况视频面部外观编辑技术

摘要

提出了一种应用于人脸视频的实时本征分解技术，该技术让用户能够在实况视频中编辑面部外观。在运行之前，用户将编辑应用到参考人脸图像的反照率本征图和亮度本征图，这允许进行广泛的操作，包括虚拟化妆和重新照明等。然后可以在运行时将这些编辑转移到视频流中的脸部的相应层，以达到实时编辑人脸外观的目的。 工作的关键挑战是在实况视频中准确和高效地提取反照率本征图和亮度本征图。为此，展示了一种利用人脸结构和面部特征点跟踪的方法，用提出的基于颜色和结构先验的优化框架实时地对视频流中的帧进行有语义的分割，同时利用光流保证分割区域在时序上的连续与平滑，然后根据分割将来自参考图像的本征信息以高效鲁棒的方式转移到视频流帧的对应像素。对本征图的编辑以类似的方式转移到视频流。在这个技术基础之上还展示了各种面部编辑应用，如减少皱纹，改变环境照明，从另一幅图像转移色调，改变头发颜色等。 我们的实验证明，这种技术能比目前最好的视频本征分解技术产生更好的分解结果，同时这也使实况视频的实时本征图分解首次成为可能。

目录

声明

摘要

图目录

1．1 课题背景

1．2 本文工作

1．3 算法流程

2．1 本征分解

2．1．1 本征图像分解

2．1．2 本征视频分解

2．2 分割

2．2．1 图像分割

2．2．2 视频分割

2．3 面部追踪

2．4 人脸图像编辑

2．5 GPU通用计算

第3章 参考图像预处理

3．1 离线本征分解

3．1．1 Retinex约束

3．1．2 绝对放缩约束

3．1．3 用户定义的约束

3．1．4 优化

3．2 图像分割

3．2．1 自动初始分割

3．2．2 用户协助的语义分割

3．3 本征查找表

3．4 区域模型

3．4．1 颜色模型

3．4．2 结构模型

3．5 本章小结

第4章 运行时分割与本征分解

4．2 Graph-Cut优化

4．3 本征分解传播

4．4 运行时算法

4．5 本章小结

第5章 面部外观编辑

5．1 区域的平滑抠图

5．2 局部范围限制

5．3 反照率的改变

5．3．1 反照率编辑

5．3．2 反照率平滑

5．3．3 色调转换

5．4 亮度的改变

5．4．1 亮度平滑

5．4．2 高光增强

5．4．3 高光减弱

5．4．4 人脸重新照明

5．5 实况系统

5．6 比较与验证

5．6．1 与直接图像编辑的比较

5．6．2 与之前本征视频方法的比较

5．6．3 与没有形状先验的比较

5．7 本章小结

6．1 本文工作总结

6．2 局限与展望

参考文献

致谢

作者简历