大规模分布式渲染应用的数据管理策略

摘要

渲染是动画制作的一个关键环节，一般占用整个动画制作时间的30％。目前，在大规模分布式渲染环境中，渲染使用的源数据一般都存储在远端磁盘中。在渲染计算时，计算结点需要从远端磁盘读取数据。在大规模分布式的渲染环境中，就会有海量结点对远端磁盘进行并行访问，这样会导致I/O瓶颈和数据传输拥塞，影响数据存取的响应时间，使得渲染应用时间变慢。
　　针对上述问题，提出了基于分布式内存的数据管理策略及架构系统—RenDMS。将分布式渲染环境中结点的空闲内存集合起来使用，并使用有效的数据管理策略进行管理。海量的大规模结点被划分成若干个小的渲染单元，进行分治管理，每个渲染单元形成一个RenDMS架构单元；渲染单元和 RenDMS的结合让海量结点的并发读取变成只有单元内部数据读取，极大的减少了数据读取的并发量；不同的场景的镜头数据和帧数据比例不同，占用的空闲内存也不同，动态自适应的放置策略综合考虑多种数据特点和内存空间等因素，灵活的构建数据副本，能够在不同的场景中都很快的定位和访问数据。动态自适应放置策略有全复制放置策略、全分发放置策略和热点数据放置策略；针对帧数据实现了预取策略，预取策略提前将数据读取到本地，规避了渲染计算和I/O读取的时间，加速了渲染计算的进度。
　　实验结果表明，大规模分布式渲染的数据管理策略和同等规模的传统策略相比，能有效的减轻I/O瓶颈，加速了渲染的进程，减少了整体的渲染时间。

目录

封面

声明

中文摘要

英文摘要

目录

1. 绪论

1.1问题的提出

1.2国内外研究现状

1.3课题的研究内容

1.4论文的组织结构

2.大规模分布式渲染应用数据管理框架和策略概述

2.1系统背景

2.2大规模分布式渲染的存储架构

2.3大规模分布式渲染框架数据的存储管理、放置和访问

2.4本章小结

3. 大规模分布式渲染应用的数据管理策略关键技术

3.1分析问题

3.2动态自适应放置策略

3.3多层数据分发策略

3.4数据预取策略

3.5本章小结

4. 系统性能评估

4.1测试环境

4.2系统的使用概述

4.3系统的性能测试

4.4本章小结

5. 总结与展望

致谢

参考文献

附录1 攻读学位期间参加的主要科研项目

附录2 攻读学位期间申请的国家发明专利