面向大规模渲染的复杂场景数据组织方法研究

摘要

当今，真实感渲染在影视，动画，广告等行业中被越来越广泛的应用。随着计算机硬件性能的提升，我们对真实感渲染的效果，速度的需求都有着进一步的提高。近年来，由于单核cpu的发展已渐渐达到物理极限，因而，并行系统开始迅速发展，渲染也已经开始并行化，例如，电影《阿凡达》每帧渲染时间72小时，如果是单核计算机需要在16000年之前开始，然而，并行渲染大大缩短了这个时间，weta工作室利用35000多计算节点，4000台服务器进行并行渲染，将渲染的时间减少至几个月。从数据存储方面来讲，当建模人员建好模型之后，模型数据不会被直接用来渲染，因为这些模型数据组织方式与建模软件本身有莫大的关联，例如有些软件记录了建模人员的一系列操作。然而，我们需要渲染时，不能够依据这些操作来进行渲染，这会影响引擎的兼容性。因此，我们需要建立统一的渲染数据规范，为各种建模软件提供使能工具，使得每种使能工具都能够输出统一的规范化的渲染数据。
　　本文根据大规模并行实验的结果，发现了一些引发效率低的问题因素，其中包括多帧的复杂场景数据量的规模因素，主要表现在几何方面的因素;其次是小文件的数量所导致的问题。几何数据方面的问题:一个场景的中间数据描述的是整个场景当中所有几何体的信息（包括光源，模型等），因此，它的大小跟场景复杂程度有关，例如一个1000个几何体的场景，按照一个几何体大小平均1MB计算，几何体占用空间大小将达到1GB，而且，如果我们渲染一段动画，每一秒30帧，仅仅10秒钟的动画的数据量将达到300GB。我把几何体数据与坐标变换分离，并将所得到的所有重复数据统一存储，从而减少了几何数据量的输出。。材质方面的问题:在减少几何数据量输出之后，引用数据的方式也影响着并行的效率。由于一个场景当中材质数量较多（1000个几何的场景中大约有300多种材质），而且描述每个材质的程序片段小至几KB，大到几十KB。如果对这种数据处理不当容易造成大量的小文件产生，不但不利于文件的传输，而且在渲染时，频繁的I/O操作，会造成计算过程的中断，从而降低了并行的效率。本文中我将采用一种方法，首先重新组织材质数据在外存的表示方式，使其能够正确地被读入主存;其次，我根据材质文件小而数量大的特点，一次性读入主存之后，当需要材质时，直接从主存中调用，极大的减少了系统I/O，尤其是对于有独立缓存的集群渲染效率更高。通过本文的工作，规范化的数据组织方式可以减少数据量的输出以及在并行渲染中减少内外存的调度。针对复杂场景具有大量几何体，和每个几何体都会有一种材质这一特点，我们将对场景内的几何数据和材质数据的组织方式分别进行讨论。在实现方面，我们在现有的系统基础上，利用renderman规范来表示数据，同时，我们利用大型建模软件建出的复杂场景，获得所有的数据并进行合理的组织，最终输出的数据尽可能满足以下要求:数据量尽可能少，数据的读取尽可能快捷，减少系统的I/O。

目录

声明

摘要

第1章 绪论

1．1 课题背景和研究意义

1．2 国内外的研究和发展状况

1．2．1 大规模并行渲染

1．2．2 渲染任务分解

1．2．3 国产渲染平台数据管理

1．3 课题来源以及主要工作

1．3．1 课题来源

1．3．2 作者主要工作

1．4 文章的组织结构

第2章 场景数据

2．1 场景的数据表示

2．1．1 数据表示

2．1．2 数据表示基于renderman规范的实现

2．2 场景数据规模

2．2．1 单帧场景数据规模

2．2．2 多帧动画数据规模

2．3 建模软件中的数据表示

2．3．1 DG图

2．3．2 DG图表示一个场景的方法

第3章 几何数据管理

3．1 动画中可重复数据分析

3．2 几何的数据组织

3．2．1 场景内静止的物体

3．2．2 几何内形变定义以及处理

3．3 实现

第4章 着色器数据组织

4．1 着色器数据组织方式

4．1．1 着色器数据的分布

4．1．2 引擎调用着色器

4．2 着色器数据的管理

4．2．1 规范化编写着色器

4．2．2 着色器的可集成性

4．2．3 着色器集成数据的管理

4．2．4 实现

4．3 着色器内外存调度

4．3．1 着色器数据在外存中的组织

4．3．2 着色器数据在主存当中存储以及调用

4．3．3 实现

第5章 测试结果

5．1 大规模渲染理论值与测试分析

5．1．1 大规模渲染理论

5．1．2 测试环境及结果

5．2 增量式输出和着色器数据管理测试

5．2．1 增量式输出的几何数据文件前后对比分析

5．2．2 着色器数据重新组织前后对比分析

5．2．3 结果分析

第6章 总结以及未来的工作

6．1 本文工作总结

6．2 未来工作的展望

参考文献

致谢

攻读学位期间参加项目