基于低质量GRB-D数据的场景恢复方法及装置

摘要

本发明涉及三维建模技术领域，特别是涉及一种基于低质量GRB-D数据的场景恢复方法及装置。本发明提供的一种基于低质量GRB-D数据的场景恢复方法及装置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

说明书

技术领域

本发明涉及三维建模技术领域，特别是涉及一种基于低质量 GRB-D数据的场景恢复方法及装置。

背景技术

随着互联网上三维模型数量的增加(例如Google3DWarehouse 等模型库)以及模型检索技术的发展，即使是没有任何专业技术背 景的普通人也可以通过搜索和摆放模型来构建室内三维场景模型。 尤其是在消费级深度相机(如MicrosoftKinect)普及后，室内场景 点云采集的成本越来越低，数字化构建虚拟室内场景的需求变得越 来越旺盛。

传统的三维重建方法，其目标是精确地恢复出物体的几何结构； 而通过模型库中的虚拟三维模型来匹配点云的方法则更强调利用点 云检索出语义上正确的、视觉上符合标准的模型。这种新兴的重建 方法被成为语义重建。

现有的语义重建方法要么需要大量人工交互，比如“An interactiveapproachtosemanticmodelingofindoorsceneswithan RGBDcamera(一种从RGBD相机中恢复室内场景的交互方法)”，需 要人工的分割，选择和摆放模型；要么对采集设备的精度有着较高 的要求，比如“Asearch-classifyapproachforclutteredindoorscene understanding(一种基于“搜索-分类”模式的复杂室内场景理解)”。

发明内容

针对现有技术中需要大量人工交互以及对采集设备精度要求高 的缺陷，本发明提供了一种基于低质量GRB-D数据的场景恢复方法 及装置。

一方面，本发明提供一种基于低质量GRB-D数据的场景恢复方 法，包括：

获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割 拼接后的场景点云；

根据语义关系以及点云分类器，将所述场景点云与模型库中的模 型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间 的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出 基于点云的分类器；

提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语 义关系与所述模型库中的模型进行轮廓匹配。

进一步地，在所述获取RGB-D图像的步骤之前，所述方法还包 括：

对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的 模型中提取物体之间的语义关系；

针对所述模型库中每一类别的物体模型分别训练出点云分类器。

进一步地，所述对模型库中的模型进行模拟现实世界场景的扰动 的步骤，包括：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的 模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之 间的语义关系。

进一步地，所述将所述场景点云与所述模型库中的模型进行匹配 的步骤，包括：

采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的 置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部 分；

将分割后得到的场景点云重复执行上述步骤。

进一步地，所述将所述场景点云分割成不可能属于同一物体的两 个以上部分的步骤，包括：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得 到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过 分割。

另一方面，本发明还提供一种基于低质量GRB-D数据的场景恢 复装置，包括：

图像处理模块，用于获取RGB-D图像，并对所述RGB-D图像进 行拼接，得到过分割拼接后的场景点云；

点云匹配模块，用于根据语义关系以及点云分类器，将所述场景 点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中 提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的 物体模型分别训练出基于点云的分类器；

轮廓匹配模块，用于提取所述场景点云中未能匹配模型的小物体 的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

进一步地，所述装置还包括：

语义关系模块，用于对模型库中的模型进行模拟现实世界场景的 扰动，并从扰动后的模型中提取物体之间的语义关系；

点云分类器模块，用于针对所述模型库中每一类别的物体模型分 别训练出点云分类器。

进一步地，所述语义关系模块具体用于：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的 模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之 间的语义关系。

进一步地，所述点云匹配模块，具体用于：

根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场 景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识 别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部 分；

将分割后得到的场景点云重复执行上述步骤。

进一步地，所述点云匹配模块，还用于：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得 到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过 分割。

本发明提供的一种基于低质量GRB-D数据的场景恢复方法及装 置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体 模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓 检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图 像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下 自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示 意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明一个实施例中一种基于低质量GRB-D数据的场景恢 复方法的流程示意图；

图2是本发明一个实施例中一种基于低质量GRB-D数据的场景恢 复方法的过程示意图；

图3是本发明一个实施例中一种基于低质量GRB-D数据的场景恢 复方法的效果示意图；

图4是本发明一个实施例中一种基于低质量GRB-D数据的场景恢 复装置的结构示意图。

具体实施方式

现结合附图和实施例对本发明技术方案作进一步详细阐述。

图1示出了本实施例中一种基于低质量GRB-D数据的场景恢复方 法的流程示意图，如图1所示，本实施例提供的一种基于低质量GRB-D 数据的场景恢复方法，包括：

S1，获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过 分割拼接后的场景点云。

举例来说，对于一组目标场景的RGB-D图像，既包括RGB(彩色) 图像信息，也包括Depth(深度)图像信息，根据图像的Depth图像信 息可以通过计算机将这组图像过分割后拼接成一个完整的场景点云。

S2，根据语义关系以及点云分类器，将所述场景点云与模型库中 的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体 之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训 练出基于点云的分类器。

S3，提取所述场景点云中未能匹配模型的小物体的轮廓，根据所 述语义关系与所述模型库中的模型进行轮廓匹配。

在具体实施过程中，对于场景中诸如桌子与椅子、写字台与电脑、 沙发与茶几或者床与床头柜之类的大件物体，根据语义关系以及点云 分类器可以很容易的在所述模型库中匹配找到相应的物体模型。

但是，由于消费级深度相机采集的深度信息质量较差，深度信息 在一些具有反光材质的物体表面常常缺失，分辨率也不足以描述一些 小物体，如鼠标、铅笔或小勺等。为此，需要从对应的彩色图像提取 出小物体的轮廓，通过轮廓检索方法来帮助恢复细小物体。

优选的，在所述获取RGB-D图像的步骤之前，所述方法还包括：

S01，对模型库中的模型进行模拟现实世界场景的扰动，并从扰 动后的模型中提取物体之间的语义关系；

S02，针对所述模型库中每一类别的物体模型分别训练出点云分 类器。

事实上，在现实世界场景中的物体之间总是存在着很明显的语义 关系，例如，椅子经常出现在桌子周围，笔记本经常放置在写字台上 等，而充分利用这些语义关系则可以极大的提高场景中模型的检索正 确率。

同时，由于大部分的人造场景模型中物体模型总是跟坐标轴对齐 的，导致人造场景模型中的物体大部分都是互相平行或垂直的，不符 合现实世界中物体之间位置关系。为此，我们首先需要对模型库中的 模型进行模拟现实世界场景的扰动。

如图2所示，是采用本实施例上述方法来实现的一个室内场景恢 复的具体过程示意图。

进一步地，在所述步骤S01中，所述对模型库中的模型进行模拟 现实世界场景的扰动的步骤，包括：多次更新模型库中小物体模型的 位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并 从扰动后的模型中提取物体之间的语义关系。

在具体实施过程中，为了能够使得所述模型库中的物体模型位置 关系更接近现实世界场景，可以采用对小物体随机次数迭代更新其位 置及其方向的方法进行扰动，这是由于在现实世界场景中，大件的物 体位置一般很少发生移动，而小件物体则会经常发生随意的移动或转 向。

举例来说，对于一张餐桌与四把椅子的位置关系而言，有可能其 中两把椅子靠紧餐桌摆放，另外两把则离餐桌有一定距离，同时对于 离餐桌有一定距离的两把椅子其中一把有可能是正对的餐桌摆放，另 一把则斜对着餐桌摆放。

并且，从扰动后的模型中提取物体之间的语义关系，采用贝叶斯 网络模型表示。

优选的，由于根据所述RGB-D图像获得的场景点云往往是整个场 景的整体点云，而在模型库中则为具体单个物体的模型，为了能够准 确的找到视觉上逼真的物体模型，则需要对场景点云不断进行匹配、 分割、再匹配的操作。所述将所述场景点云与所述模型库中的模型进 行匹配方法的步骤，包括：

采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的 置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部 分；

将分割后得到的场景点云重复执行上述步骤。

举例来说，假如目标场景点云为一张餐桌与四把椅子，在进行第 一次匹配后没有找到准确的模型，则将点云分割成一把椅子点云和一 张餐桌与三把椅子点云两部分，这样在第二次匹配中即可找到一把椅 子的模型相匹配。重复执行上述步骤则最终可将得到一张餐桌与四把 椅子的场景模型。

为了能够简化场景点云的分割，本实施例还提供了一种场景点云 的分割方法，具体包括：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得 到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过 分割。

例如在上述一张餐桌与四把椅子的场景点云中，首先采用 RANSAC方法检测所述场景点云中的平面，得到最符合条件的平面 即是地面，然后将该地面删除，删除地面之后餐桌与四把椅子之间由 于没有共同的连通部分，则独立成为五个不同的个体，因此很容易便 可得到一张餐桌点云与每把椅子的场景点云。

如图3所示为采用本实施例提供的一种基于低质量GRB-D数据 的场景恢复方法获得的室内场景模型的效果示意图

本实施例提供的一种基于低质量GRB-D数据的场景恢复方法， 通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模 型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检 索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像 序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自 动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

另一方面，如图4所示，本实施例提供的一种基于低质量GRB-D 数据的场景恢复装置，包括：

图像处理模块101，用于获取RGB-D图像，并对所述RGB-D图像 进行拼接，得到过分割拼接后的场景点云；

点云匹配模块102，用于根据语义关系以及点云分类器，将所述 场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模 型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类 别的物体模型分别训练出基于点云的分类器；

轮廓匹配模块103，用于提取所述场景点云中未能匹配模型的小 物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹 配。

优选的，所述装置还包括：

语义关系模块，用于对模型库中的模型进行模拟现实世界场景的 扰动，并从扰动后的模型中提取物体之间的语义关系；

点云分类器模块，用于针对所述模型库中每一类别的物体模型分 别训练出点云分类器。

进一步地，所述语义关系模块具体用于：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的 模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之 间的语义关系。

进一步地，所述点云匹配模块，具体用于：

根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场 景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识 别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部 分；

将分割后得到的场景点云重复执行上述步骤。

进一步地，所述点云匹配模块，还用于：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得 到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过 分割。

本发明提供的一种基于低质量GRB-D数据的场景恢复装置，首先 通过点云匹配模块，根据语义关系以及点云分类器恢复出场景中的主 要物体模型；然后通过轮廓匹配模块，从对应的彩色图像准确的提取 出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大 提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在 不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚 拟三维场景模型。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可 以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样 的修改和变型均落入由所附权利要求所限定的范围之内。