基于虚拟对象且基于不同视频数据流中从不同有利点表示的现实世界对象生成融合现实场景的方法和系统

摘要

示例性融合现实世界场景捕获系统(系统)从相对于现实世界场景设置以具有现实世界场景的多个不同有利点的多个三维(3D)捕获设备来接收表面数据帧的第一帧集合。基于所述第一帧集合，所述系统生成传输流，所述传输流包括每个所述3D捕获设备的颜色和深度视频数据流。基于所述传输流，所述系统生成表示在融合现实场景的3D空间内包括的多个实体的实体描述数据。所述多个实体包括虚拟对象、现实世界对象、以及进入所述3D空间的虚拟视点，将从所述虚拟视点渲染表面数据帧的第二帧集合，所述第二帧集合表示所述虚拟对象和所述现实世界对象两者的颜色数据和深度数据。