虚实混合中的风化材质模拟和光照一致性问题研究

摘要

随着计算机技术的快速发展，如何将真实世界和计算机所模拟的虚拟世界高度无缝地融合起来，引起了人们的广泛关注。经过多年的发展，研究者们已经在虚实融合的几何一致性上取得了重要进展，目前已经能够实时地恢复摄像机的参数甚至场景的三维几何结构，将虚拟物体正确地注册到拍摄的视频场景中。最新的研究主要集中在如何解决虚实混合中的光照一致性和虚实物体的相互作用的一致性上，以进一步提高虚实混合的视觉一致性程度，并改进人机交互的界面和方式，使之更为便捷高效。
　　 基于上述研究背景，本文主要针对虚实融合中的风化材质模拟技术和光照一致性问题进行了研究，在风化模拟模型、风化材质交互编辑、光照模型及注册等方面分别提出了解决办法，实现了高质量的虚实融合效果。我们的主要工作包括以下内容:
　　 提出了一个风化模拟通用模型，支持在虚拟物体上实现多种风化效果。该技术创见性地提出了能诱发风化的γ粒子的概念，通过用户指定简单的风化传递规则，然后在虚拟物体上进行γ粒子跟踪，为虚拟物体量身定制用户想要的风化效果。除此以外，本技术还能够模拟诸如污渍渗出、多重风化和大规模几何形变等过去技术无法实现的效果，大大拓展了风化模拟的范围。
　　 进一步提出了一个面向视频的交互式风化处理框架，能够对视频对象进行交互编辑，向其添加各种真实感的风化效果。在恢复出视频的深度信息后，为了保证视频编辑的时间一致性，提出了一个新的基于深度的交互式视频对象分割方法，有效地从视频中提取出感兴趣的视频对象。然后，提出了一个新的基于深度准确估计的点云采样算法，从恢复的深度信息中采样得到视频对象的点云模型，剔除大量地冗余点，然后重建其三维几何模型。接着，引入基于γ粒子跟踪的风化模型，对重建得到的三维几何进行γ粒子跟踪，得到风化信息，用于修改视频对象的自然状态。并且改进原有γ粒子跟踪风化模拟技术缺少交互功能的不足，提供了两种交互式风化处理工具，支持用户引导风化发生的区域和调整风化速度，提高了风化处理的灵活性，降低了编辑任务的复杂度。
　　 提出了一种基于特征自动匹配的环境映照对齐方法，采用Affine-SIFT算法和随机抽样一致性算法对环境映照和场景进行特征匹配并优化匹配结果，利用基于运动推断结构的摄像机定标算法求得匹配对的三维位置，从而计算出环境映照与真实场景的对应关系，将完整光照信息注册到场景中，保证了虚拟融合的光照一致性。在此基础上，搭建了一个高质量实时虚实融合系统，采用基于关键帧的相机跟踪技术，能够实时注册和编辑虚拟物体。采用重要性采样算法有效地利用对齐后的环境光照信息，采用阴影映射技术绘制阴影，实现了实时的高品质虚实融合效果。

目录

摘要

目录

1 绪论

1．1 计算机风化模拟技术

1．1．1 风化现象的分类和难点

1．1．2 单一风化模型

1．1．3 通用风化模型

1．2 视频场景的增强处理

1．2．1 交互式视频分割

1．2．2 视频编辑

1．3 面向增强现实的真实感绘制

1．3．1 光照模型

1．3．2 增强现实系统中的光照一致性

1．4 本文工作

2 基于γ粒子跟踪的风化模拟技术

2．1 γ粒子跟踪

2．1．1 γ粒子和γ粒子源

2．1．2 γ反射系数和表面材质属性

2．1．3 γ粒子递归传播和γ传递

2．1．4 表面属性的更新和几何形变

2．1．5 风化规则示例

2．2 应用实例

2．2．1 污渍渗出效果

2．2．2 多重风化效果

2．2．3 几何形变效果

2．2．4 性能分析

2．3 小结

3 面向视频的交互式风化处理

3．1 整体框架概述

3．2 视频分割和几何重建

3．2．1 基于深度的交互式视频对象分割

3．2．2 几何重建

3．3 交互式视频风化效果处理

3．3．1 γ粒子递归传播

3．3．2 γ传递

3．3．3 视频物体的风化效果

3．3．4 用户交互控制

3．3．5 现实场景的交互影响

3．3．6 时变风化效果处理

3．4 实验结果

3．5 小结

4 基于环境映照自动对齐的高质量实时虚实融合

4．1 系统概述

4．2 HDR环境映照

4．2．1 HDR环境映照的采集

4．2．2 基于特征的环境映照与场景匹配

4．3 实时真实感虚实融合

4．3．1 实时相机跟踪

4．3．2 重要性采样算法

4．3．3 实时软阴影的绘制

4．4 实验及结果分析

4．5 小结

5 总结与展望

5．1 本文总结

5．2 未来工作展望

参考文献

攻读博士学位期间主要研究成果

致谢