跨模态人脸图像生成方法研究

摘要

随着智能移动设备和互联网走进千家万户，不同风格的人脸照片图像在专业领域以及人们日常生活中都十分常见。例如照片风格和素描风格的人脸图像，可见光和近红外风格人脸图像等，因此经常需要对不同风格的图像进行相互转化。譬如，从人脸照片图像生成对应的素描人脸，以满足数字娱乐或专业领域的实际应用需要。自动的跨模态人脸合成旨在将人脸图像在不同风格下进行转化，作为目前具有挑战性的一项任务，具有重要的研究意义。目前针对此项任务提出了很多方法，但是仍然在视觉效果等方面存在不足。
　　本文针对跨模态人脸合成进行算法改进。首先提出基于引导图像滤波的两步细节增强算法，第一步是基于KNN的基准算法，对测试图像小块在训练集源模态图像中搜索与其最相像的图像小块，并利用与之对应的目标模态图像小块进行线性组合，以此估计测试图像小块的目标模态初始合成结果；第二步对初始合成结果应用引导图像滤波，将输入测试图像作为引导图像，以此弥补以往算法面部细节缺失的不足。通过定性的实验评估，该方法在保持全局特征基础上能够有效增强面部细节，例如能有效恢复头发纹理、瞳孔亮光等细节。第二，在此基础上，进一步提出结构化细节增强跨模态人脸合成算法，主要思想是对面部五官和其他部分采用不同的合成策略，从而有效地解决面部五官的合成上缺失阴影细节的问题。第三，针对某些测试图像的合成结果存在面部五官位置偏差的现象，通过实验分析发现是由于训练集源模态和目标模态五官并非完全对齐，因此提出基于对齐训练集来改善实验结果的策略。同时，针对素描人脸图像改进面部特征点算法，并将其应用到对齐数据集上，该方法可以有效改善面部五官合成位置偏移、轮廓不清晰的问题。
　　本文还将对齐训练集也应用到基于卷积神经网络的算法上，基于生成损失和判别损失来刻画损失函数，利用面部五官位置对齐的数据集对预训练的模型进行精调，实验结果表明能够取得一定的视觉效果提升。另外，将本文的三种方法与当前经典的算法进行对比，从视觉效果、定量分析、运行速度等方面进行总结分析，归纳出各个算法的优缺点。

目录

封面

中文摘要

英文摘要

目录

第1章绪 论

1.1课题背景与研究意义

1.2国内外研究现状

1.3 本文主要研究内容

第2章基于引导图像滤波的跨模态人脸合成

2.1基于KNN的基准算法

2.2基于引导图像滤波的细节增强算法

2.3实验结果

2.4 本章小结

第3章面向素描图的人脸特征点检测

3.1基于LBF级联回归面部特征点检测

3.2基于核函数的算法改进

3.3实验结果

3.4本章小结

第4章基于对齐训练集改善结构化跨模态人脸合成

4.1结构化细节增强跨模态人脸合成

4.2基于对齐训练集改善合成结果

4.3实验结果

4.4本章小结

第5章基于卷积神经网络的跨模态人脸合成

5.1基于全卷积网络的人脸素描生成

5.2基于对齐数据集精调网络

5.3 FCN与align_FCN算法实验对比

5.4方法对比

5.5本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其它成果

声明

致谢