基于环形对抗学习的三维场景渲染合成方法研究

摘要

随着科技的飞速发展，计算机图形学在渲染方面取得了一个又一个的突破，诞生了大量优秀的渲染模型，但是离真实感渲染还有一定差距。因为现实世界场景复杂多变、客观条件众多，用户对真实感渲染的需求也越来越高，想更进一步的得到真实感渲染并不是一件容易的事情。 生成对抗网络的出现使高真实感渲染存在可能。本文将生成对抗网络与OpenGL相结合，利用网络训练得到合适模型，然后修改OpenGL渲染管线，引入训练后得到的模型，从而提高真实感渲染的效果。主要做了以下几方面工作: 首先深入学习并掌握了OpenGL，使用它构造了三维场景并对其做光照和阴影的渲染，同时研究了OpenGL的渲染管线。 随后研究和分析了生成对抗网络及其各种改进方式。生成对抗网络在训练过程中能够不断的尝试生成以假乱真的数据。其中环形对抗网络不仅可以学习大量真实的三维场景数据，而且可以将不同领域的数据互相转换，则有希望从真实数据集中学习其渲染风格并将无渲染效果的模型转换为高真实感的图像。但是由于训练过程不够稳定并为了获得更好的结果，本文做了两组实验，分别是用WGAN目标函数替代环形对抗网络中的GAN的目标函数和环形对抗网络原有的训练模式。在训练过程中发现，WGAN替代GAN的方法可加快循环一致性损失函数的收敛速度，为了探究其原因，为此本文另外做了两组对比实验，结果表明是因为WGAN训练过程中采用的权重裁剪方法起到了主要作用。为了能够让最终训练结果向目标靠拢，本文提出了改进方案:在循环一致性损失函数中加上了一范数的约束，并在原有训练过程中做了权重裁剪约束。最终，实验证明了该方案不仅加快了训练速度同时也能渲染出较好的效果。 而后参考OpenGL的渲染管线和Tensorflow开源软件库的特征。本文提出了OpenGL-GAN渲染管线，该管线主要是嵌入利用环形对抗网络训练得到的graph模型，使得OpenGL和GAN完美结合，使得在OpenGL中利用GAN的方法能渲染出较为真实的图像，为将来高真实感渲染模型奠定良好基础，并为以后研究开辟了新的思路。 最后利用C++/CLR Window Forms编写出基于OpenGL-GAN渲染管线的OpenGL交互式渲染系统，验证了新渲染管线的可行性并满足了其应用需求。

目录

摘要

1．1课题背景及意义

1．2国内外研究现状

1．2．1三维场景渲染国内外研究现状

1．2．2生成对抗网络的研究现状

1．3本文研究内容

第二章三维场景渲染

2．1三维渲染基础

2．2 OpenGL

2．2．1 OpenGL概述

2．2．2 OpenGL功能

第三章OpenGL-GAN渲染管线设计

3．1 OpenGL渲染管线

3．1．1顶点处理

3．1．2裁剪和图元装配

3．1．3光栅化

3．1．4逐片段处理

3．1．5像素处理

3．2 OpenGL-GAN渲染管线

3．2．1 Assimp加载模型obj／3ds

3．2．2 OpenGL纹理渲染

3．2．3 Tensorflow中graph模型

3．2．4最终渲染

第四章基于环形对抗学习的渲染合成方法原理

4．1 GAN原理

4．2 LSGAN原理

4．3 WGAN原理

4．4 CycleGAN原理

4．5 CycleGAN训练过程

4．6改进方法原理

第五章训练过程与讨论

5．1数据准备

5．2训练过程与讨论

第六章系统的开发与实现

6．1_实验测试系统的设计

6．2实验测试系统模块功能介绍

6．3实验测试图形绘制流程

第七章总结与展望

参考文献

致谢

声明