三维场景由渲染真实到物理真实的转换方法

摘要

本发明公开了一种三维场景由渲染真实到物理真实的转换方法，通过灯光转换、材质转换、材质分类、模型拆分与聚类、模型语义标注、模型碰撞体检测、动画模型转换步骤，极大地提高了渲染真实场景到物理真实场景的转换效率，得到的物理真实场景能更好地通过VR/AR/MR的方式进行展示。由于转换效率的提升，大量的渲染真实场景可以成为物理真实场景，为机器人的虚拟仿真提供更多的真实数据。

说明书

技术领域

本发明属于三维场景展示技术领域，具体涉及一种三维场景由渲染真实到物理真实的转换方法。

背景技术

传统三维场景主要通过渲染2D效果图进行展示，展示方式和使用范围受到很大限制。随着技术的发展，三维场景展示方式可以是带有交互的AR/VR/MR，使用范围可扩展到机器人物理仿真环境。因此需要一套转换方法，将传统以渲染真实为目的的场景转换为物理真实的场景，使三维场景发挥更大的价值。

以渲染真实为目的的三维场景，涉及的内容主要有三维模型、渲染材质以及灯光。而以物理真实为目的的三维场景，需要在渲染真实的基础上，增加物理材质，模型拆分和聚类，语义标注，模型碰撞体，物理动画。最后将这些信息通过自动化处理脚本，转换到支持物理渲染的引擎上，用于实际使用。

在构建物理真实的三维场景时，基本上采用人工方式，效率低，成本高。如在2021年6月Facebook AI Research推出Habitat2.0物理仿真数据集，在对应的论文《Habitat2.0:Training Home Assistants to Rearrange their Habitat》Introduction部分，介绍了设计师基于Replica dataset进行物理真实场景转换。对改造111个场景，涉及92个动态模型，共花费超过900个小时。

专利文献CN109523629A公开了一种基于物理仿真的物体语义和位姿数据集生成方法，涉及机器人智能感知的深度学习应用领域，包括几何建模、初始化、仿真解算、渲染、读取和生成大规模数据集这几个步骤。主要是通过物理仿真和图像渲染得到场景数据，同时从物理世界内部参数设置和渲染设置得到语义和位姿等信息，虽然采用自动方式获得场景数据，但是这些场景数据不足以支撑物理真实应用需求。

发明内容

鉴于上述，本发明的目的是提供一种三维场景由渲染真实到物理真实的转换方法，通过自动化极大地提高了场景数据转换效率。

为实现上述发明目的，实施例提供的一种三维场景由渲染真实到物理真实的转换方法，包括：

步骤1，从渲染真实场景中提取灯光、渲染材质、三维模型以及配置信息；

步骤2，灯光转换：将提取的灯光转换成物理真实场景所需灯光；

步骤3，材质转换：利用基于数据驱动的材质参数域转换方式将提取的渲染材质转换成物理真实场景所需的渲染材质；

步骤4，材质分类：利用材质分类器对物理真实场景所需的渲染材质进行物理材质分类，以确定渲染材质对应的物理材质；

步骤5，模型拆分与聚类：基于网格连通域识别对提取的三维模型进行细粒度拆分，以得到多个子模型，对每个子模型基于欧式距离进行模型空间聚类；

步骤6，模型语义标注：利用基于web的模型语义标注工具对每个子模型进行语义标注；

步骤7，模型碰撞体检测：利用改进的V-HACD算法对子模型进行碰撞体检测，以标注碰撞体模型；

步骤8，动画模型转换：将配置信息中的动画信息和子模型转换成动画模型；

步骤9，提取步骤2-步骤8的处理结果封装成物理真实场景数据。

在一个实施例中，灯光转换时，根据转换公式T1＝a*S1，实现提取的灯光S1到物理真实场景所需灯光T1的转换，a为转换系数，灯光参数不同，a值不同。

在一个实施例中，所述利用基于数据驱动的材质参数域转换方式将提取的渲染材质转换成物理真实场景所需的渲染材质，包括：

首先，记物理真实场景所需的渲染材质为

其中，

利用通过上述方式学习的映射函数f将提取的渲染材质θ转换成物理真实场景所需的渲染材质

在一个实施例中，材质分类时，采用的材质分类器是基于物理真实场景所需的渲染材质与物理材质形成的数据对训练得到的分类器，其中，物理材质包括摩擦力、密度、反弹系数。

在一个实施例中，模型拆分时，所述基于网格连通域识别对提取的三维模型进行细粒度拆分，包括：

将三维模型的网格拓扑抽象为描述面片邻接关系的无向图，计算无向图的连通分量，将每个连通分量对应的网格拓扑拆分为1个子模型，以实现对三维模型的原始网络的细粒度拆分；

模型聚类时，所述对每个子模型基于欧式距离进行模型空间聚类，包括：

针对每个子模型对应的网格顶点集合，计算两两网格顶点之间的最近欧式距离，并根据欧式距离构建邻接矩阵，依据邻接矩阵进行层次聚类，以实现对子模型的组件依据标签进行空间重组。

在一个实施例中，模型语义标注时，采用的基于web的模型语义标注工具内嵌有标注信息，通过web端进行语义标注时，为框选组件提供备选语义标签和组合功能，通过确认功能标签和/或组合功能完成语义标注。

在一个实施例中，模型碰撞体检测时，利用改进的V-HACD算法对子模型进行碰撞体检测，包括：

在利用V-HACD算法对子模型进行碰撞体检测时，对于面片模型，生成长方体碰撞体，该长方体碰撞体比面片模型对应的真实物体高0-1cm；

在利用V-HACD算法对子模型进行碰撞体检测时，通过约束vhacd体素化阶段体素空间最大体素量，保证所开的数组长度不超过分配上限，同时不占用过高的内存，以保证程序正常运行而不崩溃或发生阻塞。

在一个实施例中，动画模型转换时，针对带有动画信息的子模型，解析配置信息中的动画信息得到转换信息和模型层级关系信息，并将转换信息和模型层级关系信息转换成物理约束信息，将子模型的模型信息与物理约束信息绑定，形成动画模型。

与现有技术相比，本发明具有的有益效果至少包括：

通过灯光转换、材质转换、材质分类、模型拆分与聚类、模型语义标注、模型碰撞体检测、动画模型转换步骤，极大地提高了渲染真实场景到物理真实场景的转换效率，得到的物理真实场景能更好地通过VR/AR/MR的方式进行展示。由于转换效率的提升，大量的渲染真实场景可以成为物理真实场景，为机器人的虚拟仿真提供更多的真实数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的三维场景由渲染真实到物理真实的转换方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了提升三维场景由渲染真实到物理真实的转换的转换效率，实施例提供了一种三维场景由渲染真实到物理真实的转换方法，如图1所示，包括以下步骤：

M1，数据提取。

实施例中，数据提取是指通过自动化处理脚本，从渲染真实场景中进行数据提取，以得到灯光(S1)、渲染材质(S2)、三维模型(S3)以及配置信息(S4)。为物理真实场景生成做准备。其中，渲染真实场景是指渲染2D效果图的三维场景，其数据格式可以是通用的DCC软件制作，例如3DSMax，Maya，或者基于Web的三维场景，例如酷家乐云图工具。

其中，灯光(S1)是指渲染真实场景中的灯光，用于照明场景，灯光类型一般有平行光，点光源，面光源，聚光灯等。

渲染材质(S2)是指渲染真实场景中的材质，一般为离线渲染材质。材质参数主要包括漫反射，反射，菲尼尔，折射等。常用的离线渲染材质有VRay材质，

三维模型(S3)是指渲染真实场景中的三维模型，如门，墙，餐桌等模型。

配置信息(S4)包括场景灯光信息、材质信息、模型信息、动画信息等。其中，场景灯光信息包括灯光位置，灯光强度，灯光颜色等。材质信息包括各种类型材质，如大理石材质，金属材质等。模型信息包括模型旋转、缩放、位置、模型用到的材质信息等。动画信息一般是指转换(Transform)动画，记录物体层级结构和Transform变换。

M2，灯光转换。

由于渲染真实场景和物理真实场景的灯光会存在一些不同，因此需要进行灯光转换。在进行灯光转换时，根据转换公式T1＝a*S1，实现提取的灯光(S1)到物理真实场景所需灯光(T1)的转换，其中，灯光(S1)包括灯光强度、颜色等参数，转换的灯光(T1)灯光符合物理真实性。a为转换系数，灯光参数不同，a值不同，如颜色参数，a＝1；强度参数，会根据灯光单位(如流明，坎德拉等)，渲染引擎实现方式，确定a的系数。

M3，材质转换。

实施例中，利用基于数据驱动的材质参数域转换方式将提取的渲染材质(S2)转换成物理真实场景所需的渲染材质(T2)。物理真实场景一般都是以实时渲染引擎为载体，因此渲染材质(T2)一般都是PBR材质，而渲染材质(S2)是离线渲染材质，材质转换就是对两种格式的材质进行转换。如果物理真实场景以离线渲染引擎为载体，则不需要执行材质转换步骤，直接使用渲染材质(S2)。

在进行材质转换时，通过建立参数域关系，在相同光照模型下分别渲染出渲染真实和物理真实的材质效果，基于SSIM匹配出最准确的对应关系。具体包括：

首先，记物理真实场景所需的渲染材质为

其中，

利用通过上述方式学习的映射函数f将提取的渲染材质θ转换成物理真实场景所需的渲染材质

M4：材质分类。

实施例中，利用材质分类器对物理真实场景所需的渲染材质(T2)进行物理材质分类，以确定渲染材质对应的物理材质(T3)。

材质分类器可以采用tpot和random forest(随机森林)算法为分类器，采用基于物理真实场景所需的渲染材质与物理材质形成的数据对训练分类器，以得到渲染材质到物理材质映射的材质分类器。利用材质分类器进行材质分类时，输入为渲染材质(T2)，输出为物理材质(T3)类别。渲染材质为离线渲染材质时，包括漫反射，反射，折射，菲涅尔等参数；渲染材质为实时渲染材质时，包括BaseColor，Metallic，Roughness等参数。物理材质参数包括摩擦力、密度、反弹系数。不同类别的物理材质，其参数不同。物理材质类别分为金属，塑料，木，石等。

通过基于AI构建的材质分类模型能够实现自动标注场景物理材质，省去人工标注时间。

M5：模型拆分与聚类。

在渲染真实场景中，建模时会把一些子模型创建成一个大模型，例如把鼠标和键盘创建成一个大模型，这并不影响渲染图。但是在物理仿真时，需要将鼠标和键盘分开，因此，需要实现模型拆分和聚类，以将各组成模型的各组件分开。

实施例中，基于网格连通域识别对提取的三维模型进行细粒度拆分，包括：将三维模型(S3)的网格拓扑抽象为描述面片邻接关系的无向图，通过非递归DFS算法计算无向图的连通分量，将每个连通分量对应的网格拓扑拆分为1个子模型(T4)，以实现对三维模型的原始网络的细粒度拆分，子模型(T4)以最小粒度呈现，更利于方便模型语义标注和提升标注准确率。

实施例中，对每个子模型基于欧式距离进行模型空间聚类，包括：

针对每个子模型对应的网格顶点集合，计算两两网格顶点之间的最近欧式距离，并根据欧式距离构建邻接矩阵，依据邻接矩阵进行层次聚类，以实现对子模型的组件依据标签进行空间重组，这样属于同一标签，且空间上相近的组件被聚类到一起。

M6：模型语义标注。

由于渲染真实场景的三维模型不具备语义信息，需要对场景内的模型进行语义标注。实施例中，采用基于web的模型语义标注工具对每个子模型进行语义标注。基于web的模型语义标注工具内嵌有标注信息，通过web端对显示模型进行语义标注时，为框选组件提供备选语义标签和组合功能，通过确认功能标签和/或组合功能完成语义标注。

举例说明，比如刀柄和刀把标记为一组，菜板标记为一组，标注人员只需要框选模型，在模型语义标注工具显示度工具栏中选择对应的功能标签，风格标签等，并点击成组，即可完成成组标注，将标签数据保存到模型语义(T5)中。语义标注工具的UI设计，极大地提升了语义标注效率。

M7：碰撞体检测。

在仿真模型碰撞时，采用凸包近似模型碰撞体可以大幅提升仿真的性能和效率。为了将复杂模型简化为凸包，采用了改进的V-HACD(Volumetric HierarchicalApproximate Convex Decomposition)算法，V-HACD算法是一种常用的对非凸包模型进行快速模型近似凸包分解简化的算法，能将单个复杂模型简化为含少量顶点的多个简单近似凸包，以加速碰撞检测和处理。

模型碰撞体检测时，利用改进的V-HACD算法对子模型进行碰撞体检测，包括：

在利用V-HACD算法对子模型进行碰撞体检测时，对于面片模型，如地毯模型，生成长方体碰撞体，高度要比真实物体高很多，不符合真实情况，通过在Z方向上增加体素数量，实现精确碰撞体的生成。

在利用V-HACD算法对子模型进行碰撞体检测时，通过约束vhacd体素化阶段体素空间最大体素量，保证所开的数组长度不超过分配上限，同时不占用过高的内存，以保证程序正常运行而不崩溃或发生阻塞。

M8：动画模型转换。

实施例中，将配置信息中的动画信息和子模型转换成动画模型。具体地，动画模型转换时，针对带有动画信息的子模型，解析配置信息中的动画信息得到转换信息和模型层级关系信息，并将转换信息和模型层级关系信息转换成物理约束信息，将子模型的模型信息与物理约束信息绑定，形成物理动画(T7)。

其中，转换信息包括旋转角度、平移距离等，模型层级关系信息记录了物体层级结构，例如冰箱主体和冰箱门具有层级关系信息，冰箱门镶嵌到冰箱主体上，且具有旋转关系，并具有相应的旋转角度，将该层级关系信息约束到模型信息上，则将三维模型转换成了带有打开冰箱门这类物理动画的模型。机器人可以通过这个物理动画模型进行交互，即可以打开冰箱门，实现物理仿真。

M9：数据组装。

实施例中，通过配置信息(S4)将M2-M8的处理结果(即物理真实场景可用数据T1-T7)在支持物理仿真引擎中进行组装，得到物理真实场景数据。其中，支持物理仿真引擎包括UE4引擎，IssacSim引擎等。

实施例对比了本发明提供的转换方法与传统方式的转换效率，以处理一条数据所用平均时间对比统计，结果如表1所示：

表1

分析表1可得，本发明提供的转换方法进行场景转换，能够节省大量时间，提升转换效率处理的数据越多，转换效率提升越明显。

利用上述实施例提供的三维场景由渲染真实到物理真实的转换方法得到的物理真实场景可通过VR方式展示，还可用于机器人仿真训练，即为机器人的虚拟仿真提供更多的真实数据。

在进行VR方式展示时，在UE4引擎中，开发基于VR虚拟现实游戏设备的VR场景，观察者以嵌入式观察VR场景，且能够通过手柄，与物理真实场景中的物体进行交互，比如拿起一本书。

机器人利用物理真实场景训练仿真时，在在IssacSim仿真引擎中，机器人可以识别出物理真实场景中场景模型的语义，可以与物理真实场景中的模型交互，比如打开冰箱门，挪动椅子。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。