全景图像在三维模型中的位置和姿态确定方法及装置

摘要

本发明实施例提供全景图像在三维模型中的位置和姿态确定方法及装置，该方法包括：获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。通过在模型中选取视点，渲染全景图并获取对应的深度图，并与现实采集的全景图通过图像配准的方式获取匹配点，从此知道每个匹配点在三维模型中对应点的坐标值，从而在无需移动测量系统情况下，用图形图像处理方式，解算全景图在三维模型中位置和姿态信息。

说明书

技术领域

本发明涉及全景图像技术领域，尤其涉及全景图像在三维模型中的位置和姿态确定方法及装置。

背景技术

现有的空间展示方法主要有全景图展示和三维模型展示方式。虽然全景采用的真实场景的图像，构建的场景更具真实感，但全景图片缺少三维数据，场景表现缺乏全局的展示。三维模型虽然空间结构构件有真实感，但纹理细节不够完善。

现有技术中，常使用空间全景3D视图和全景图结合的展示方式，使空间的细节展示细腻真实，空间的展示有整体的全局展现。但这种展示方式需要在采集三维模型和全景时纪录每个全景采集点准确空间3D位置信息，以及相应的全景图片在三维模型中的姿态信息。

目前为了获取此类信息，通常是使用全景三维集成一体机获取，或者其他包括惯性测量单元在内的硬件设备来确定位置和姿态。不利于大规模普及。

因此，如何更好的实现全景图像在三维模型中的位置和姿态确定已经成为业界亟待解决的问题。

发明内容

本发明实施例提供全景图像在三维模型中的位置和姿态确定方法及装置，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。

第一方面，本发明实施例提供一种全景图像在三维模型中的位置和姿态确定方法，包括：

获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；

提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；

根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

更具体的，所述目标匹配点信息包括：虚拟全景图目标匹配点和真实全景图目标匹配点。

更具体的，所述根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息的步骤，具体包括：

根据所述虚拟全景图目标匹配点的像素坐标和所述虚拟深度图信息获取虚拟全景图目标匹配点在三维模型坐标下的空间坐标，根据所述真实全景图目标匹配点的像素坐标和所述虚拟深度图信息获取真实全景图目标匹配点在局部坐标系下的空间坐标；

将所述真实全景图目标匹配点在局部坐标系下的空间坐标按照预设旋转矩阵进行旋转，得到真实全景图旋转空间坐标；

根据所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标确定真实全景图的在三维模型中的位置信息和姿态信息。

更具体的，所述根据所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标确定真实全景图的在三维模型中的位置信息和姿态信息的步骤，具体包括：

计算所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标之间的距离值；

根据所述距离值计算所述真实全景图旋转空间坐标与真实全景图目标匹配点在局部坐标系下的空间坐标之间的坐标差值；

根据所述坐标差值结合最小二乘法得到预设旋转矩阵和三维模型中心坐标，以根据所述预设旋转矩阵和三维模型中心坐标确定三维模型的姿态信息和位置信息。

更具体的，根据所述虚拟全景图目标匹配点的像素坐标和所述虚拟深度图信息获取虚拟全景图目标匹配点在三维模型坐标下的空间坐标的步骤，具体包括：

根据全景图的行数，将所述虚拟全景图目标匹配点的像素坐标转化为球坐标，再将所述球坐标转换为直角坐标系坐标，将所述直角坐标系坐标转换为世界坐标系下的坐标，得到虚拟全景图目标匹配点在三维模型坐标下的空间坐标。

更具体的，所述获取三维模型中的位置点信息的步骤，具体为：

获取三维模型的包围盒尺寸信息，在所述三维模型中选取均匀分布的视点作为位置点，并根据所述三维模型的包围盒尺寸信息确定位置点信息。

更具体的，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息的步骤，具体包括：

将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到匹配结果信息，将所述匹配结果信息进行正确性评估，得到目标匹配点信息。

第二方面，本发明实施例提供一种全景图像在三维模型中的位置和姿态确定装置，包括：

渲染模块，用于获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；

匹配模块，用于提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；

确定模块，用于根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述全景图像在三维模型中的位置和姿态确定方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述全景图像在三维模型中的位置和姿态确定方法的步骤。

本发明实施例提供的全景图像在三维模型中的位置和姿态确定方法及装置，通过在模型中选取视点，渲染全景图并获取对应的深度图，并与现实采集的全景图通过图像配准的方式获取匹配点，从此知道每个匹配点在三维模型中对应点的坐标值，从而在无需移动测量系统情况下，用图形图像处理方式，解算全景图在三维模型中位置和姿态信息。为结合可展现空间全局3D视图的三维模型和全景图的空间展示方法提供基础必要的位姿信息

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中所描述的全景图像在三维模型中的位置和姿态确定方法流程示意图；

图2为本发明一实施例所描述的坐标映射示意图；

图3为本发明一实施例所描述三维模型中的位置和姿态确定装置示意图；

图4为本发明一实施例所描述的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例中所描述的全景图像在三维模型中的位置和姿态确定方法流程示意图，如图1所示，包括：

步骤S1，获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；

具体的，本发明实施例中根据在三维模型单个空间的包围盒的矩形边界框上均匀取值，例如取矩形边界框1/3处和2/3处的两个点，作为三维模型中的位置点信息。

本发明实施例中所描述的虚拟深度图信息反应全景图中每个像素点，以渲染时视点为中心，到三维模型对应位置的深度信息，值越小，反应在图像上越接近于黑色，其可以帮助确定位置点到三维模型坐标中心点的位置关系。

本发明实施例在进行渲染时，以位置点cx

步骤S2，提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；

具体的，本发明实施例中所描述的提取特征是利用特征提取算法，例如，SURF(Speed Up Robust Feature)算子，SIFT(Scale Invariant Feature Transform)算子，对图像提取特征点，并记录特征点位置及是从哪张图像上提取出来的，得到真实全景图的特征信息和虚拟全景图的特征信息，对真实全景图的特征信息和虚拟全景图的特征信息进行特征匹配，即针对提取出的每个特征信息找到其最好的匹配点，得到目标匹配点信息，该目标匹配点可能存在多个，且所述目标匹配点信息包括：虚拟全景图目标匹配点和真实全景图目标匹配点。

步骤S3，根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

具体的，本发明实施例中所描述的根据所述虚拟全景图目标匹配点的像素坐标和所述虚拟深度图信息获取虚拟全景图目标匹配点在三维模型坐标下的空间坐标，根据目标匹配点在三维模型坐标下的空间坐标确定其在真实全景图的局部坐标系下的方向向量，或者是单位球坐标下的坐标；

将所述真实全景图目标匹配点在局部坐标系下的空间坐标按照预设旋转矩阵进行旋转，得到真实全景图旋转空间坐标计算所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图中心坐标之间的距离值；

将上述距离值与真实全景图图旋转坐标系下的法向量相乘，求取匹配点在三维模型坐标系下的坐标与真实全景图中心点坐标的差值；根据所述坐标差值结合最小二乘法得到预设旋转矩阵和三维模型中心坐标，以根据所述预设旋转矩阵和三维模型中心坐标确定三维模型的姿态信息和位置信息。

本发明实施例通过通过在模型中选取视点，渲染全景图并获取对应的深度图，并与现实采集的全景图通过图像配准的方式获取匹配点，从此知道每个匹配点在三维模型中对应点的坐标值，从而在无需移动测量系统情况下，用图形图像处理方式，解算全景图在三维模型中位置和姿态信息。为结合可展现空间全局3D视图的三维模型和全景图的空间展示方法提供基础必要的位姿信息

在上述实施例的基础上，所述目标匹配点信息包括：虚拟全景图目标匹配点和真实全景图目标匹配点

所述根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息的步骤，具体包括：

根据所述虚拟全景图目标匹配点的像素坐标和所述虚拟深度图信息获取虚拟全景图目标匹配点在三维模型坐标下的空间坐标，根据所述真实全景图目标匹配点的像素坐标和所述虚拟深度图信息获取真实全景图目标匹配点在局部坐标系下的空间坐标；

将所述真实全景图目标匹配点在局部坐标系下的空间坐标按照预设旋转矩阵进行旋转，得到真实全景图旋转空间坐标；

根据所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标确定真实全景图的在三维模型中的位置信息和姿态信息。

具体的，图2为本发明一实施例所描述的坐标映射示意图，如图2所示，本发明实施例中所描述的全景图是三维场景的映射，全景图上每个点对应三维空间中的一个点p。全景图上每个像素点可以转换为在球坐标系下的θ和ψ角。深度图提供全景中心到三维空间点p的距离r。θ为op连线与oxy平面的夹角，变化范围为-90度～90度。ψ为从y正方向看自z轴逆时针方向转到op，与z轴的夹角，变化范围为0度～360度。将虚拟全景图上的特征点从图像坐标转换为在三维模型坐标系下的坐标。

匹配点在虚拟全景图中的图像坐标为xcoord,ycoord，全景图的行数为Imgheight，转换为球坐标为ψ＝-float(xcoord)/(2*Imgheight)*pi*2+pi，θ＝-float(ycoord/Imgheight-0.5)*pi。

转换为直角坐标系,坐标为，

真实全景图定义局部坐标系，为右手坐标系，全景球球心到全景图中心点方向定义为z方向，向上为y方向。匹配点在真实全景图中的图像坐标为xcoord,ycoord，全景图的行数为Imgheight，转换为球坐标为ψ＝-float(xcoord)/(2*Imgheight)*pi*2+pi，θ＝-float(ycoord/Imgheight-0.5)*pi。

设真实全景图在三维模型中的中心坐标为(cx,cy,cz)。真实全景图坐标系进行旋转，使其与三维模型的轴向一致，旋转矩阵欧拉角表示为(rx,ry,rz)，得到真实全景图旋转空间坐标，把求取中心坐标和旋转矩阵问题转化为最小二乘问题，最终根据所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标确定真实全景图的在三维模型中的位置信息和姿态信息。

其中，预设旋转矩阵为：

s1＝sin(ry),s2＝sin(rz),s3＝sin(rx)

c1＝cos(ry),c2＝cos(rz),c3＝cos(rx)

虚拟全景图上的特征点由图像坐标映射到三维模型坐标系下的空间坐标为x

真实全景图上的特征点由图像坐标映射到局部坐标系下的空间坐标为x

对于每一对匹配点，有如下关系，

对真实全景图特征点映射的空间坐标进行旋转(x

在上述实施例的基础上，所述根据所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标确定真实全景图的在三维模型中的位置信息和姿态信息的步骤，具体包括：

计算所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标之间的距离值；

根据所述距离值计算所述真实全景图旋转空间坐标与真实全景图目标匹配点在局部坐标系下的空间坐标之间的坐标差值；

根据所述坐标差值结合最小二乘法得到预设旋转矩阵和三维模型中心坐标，以根据所述预设旋转矩阵和三维模型中心坐标确定三维模型的姿态信息和位置信息。

具体的，计算所述虚拟全景图目标匹配点在三维模型坐标下的空间坐标和所述真实全景图旋转空间坐标之间的距离值具体为：

distance＝sqrt((x

根据所述距离值计算所述真实全景图旋转空间坐标与真实全景图目标匹配点在局部坐标系下的空间坐标之间的坐标差值具体为：

dx＝x

dy＝y

dz＝z

距离差值为diff＝dx

根据所述坐标差值结合最小二乘法得到预设旋转矩阵和三维模型中心坐标具体为：

如果有N对匹配点，则求取当

在上述实施例的基础上，所述获取三维模型中的位置点信息的步骤，具体为：

获取三维模型的包围盒尺寸信息，在所述三维模型中选取均匀分布的视点作为位置点，并根据所述三维模型的包围盒尺寸信息确定位置点信息。

具体的，本发明实施例中根据在三维模型单个空间的包围盒的矩形边界框上均匀取值，例如取矩形边界框1/3处和2/3处的两个点，作为三维模型中的位置点信息。

本发明实施例通过均匀的在包围盒上选取位置点信息可以更有效的获取位置点信息，有利于后续步骤的实现。

在上述实施例的基础上，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息的步骤，具体包括：

将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到匹配结果信息，将所述匹配结果信息进行正确性评估，得到目标匹配点信息。

具体的，本发明实施例中所描述的提取特征是利用特征提取算法，例如，SURF(Speed Up Robust Feature)算子，SIFT(Scale Invariant Feature Transform)算子，对图像提取特征点，并记录特征点位置及是从哪张图像上提取出来的，得到真实全景图的特征信息和虚拟全景图的特征信息，对真实全景图的特征信息和虚拟全景图的特征信息进行特征匹配，即针对提取出的每个特征信息找到其最好的匹配点，得到目标匹配点信息，该目标匹配点可能存在多个。

图3为本发明一实施例所描述三维模型中的位置和姿态确定装置示意图，如图3所示，包括：渲染模块310、匹配模块320和确定模块330；其中，渲染模块310用于获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；其中，匹配模块320用于提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；其中，确定模块330用于根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

本发明实施例通过在模型中选取视点，渲染全景图并获取对应的深度图，并与现实采集的全景图通过图像配准的方式获取匹配点，从此知道每个匹配点在三维模型中对应点的坐标值，从而在无需移动测量系统情况下，用图形图像处理方式，解算全景图在三维模型中位置和姿态信息。为结合可展现空间全局3D视图的三维模型和全景图的空间展示方法提供基础必要的位姿信息

图4为本发明一实施例所描述的电子设备结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：获取三维模型中的位置点信息，渲染出所述位置点信息的虚拟全景图和虚拟深度图信息；提取真实全景图的特征信息和虚拟全景图的特征信息，将所述虚拟全景图的特征信息与所述真实全景图的特征信息进行特征匹配，得到目标匹配点信息；根据所述目标匹配点信息确定全景图像在三维模型中的位置信息和姿态信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。