一种利用空间三维信息辅助全景相机拼接的方法及终端

摘要

本发明公开了一种利用空间三维信息辅助全景相机拼接的方法及终端。所述方法包括：根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；根据所述目标模型得到全景影像。从而有效地解决了现有技术中的全景影像拼接时出现断崖式错误的问题。

说明书

技术领域

本发明涉及全景影像领域，尤其涉及的是一种利用空间三维信息辅助全景相机拼接的方法及终端。

背景技术

全景相机是由多个分相机或者分镜头组成的能获得水平360度影像信息的相机系统，全景影像是通过将多个分相机获取的原始影像拼接为整体而得到的。然而各分相机的相机中心与整个全景相机的中心不重合，从而导致所有投影点与影像像素都不能真实对应，然而由于分相机中心和全景相机中心的偏离通常不大，导致每个分相机的投影区域没有明显的目视错误。但在拼接缝处，涉及两个分相机的中心偏离，导致拼接出现断崖式错误。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种利用空间三维信息辅助全景相机拼接的方法及终端，旨在解决现有技术中的全景影像拼接出现断崖式错误的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述方法包括：

根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；

根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；

根据所述目标模型得到全景影像。

在一种实施方法中，所述根据分相机的空间三维信息，得到空间三维点与原始影像像素的对应关系包括：

获取原始影像以及原始影像对应的场景的空间三维信息，根据所述空间三维信息得到旋转矩阵和平移向量；

根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系。

在一种实施方法中，所述根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系包括：

根据所述旋转矩阵和所述平移向量，得到用于表示空间坐标系下的坐标与相机坐标系下的坐标的转换关系的第一转换式；

获取所述分相机的内参数，根据所述内参数，得到用于表示相机坐标系下的坐标与像平面坐标系下的坐标的转换关系的第二转换式；

根据所述第一转换式与所述第二转换式，建立所述空间三维点与原始影像像素的对应关系。

在一种实施方法中，所述根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点并构建目标模型包括：

获取所述空间三维点的空间坐标；

根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到标准投影点；

根据所述标准投影点得到球面投影点；

根据所述球面投影点构建目标模型。

在一种实施方法中，所述根据空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到标准投影点包括：

根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到所述空间三维点对应的像平面坐标点；

根据所述像平面坐标点得到所述原始影像像素的像素深度；

根据所述分相机的中心以及所述像素深度，得到标准投影点。

在一种实施方法中，所述根据所述标准投影点得到球面投影点包括：

以全景相机的中心为球心，得到投影球面；

将所述标准投影点投影至所述投影球面上，得到球面投影点。

在一种实施方法中，所述根据所述球面投影点构建目标模型包括：

获取所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离；

根据所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离构建目标模型。

在一种实施方法中，所述根据所述目标模型得到全景影像包括：

根据空间三维点与原始影像像素的对应关系以及所述目标模型，得到原始影像像素与球面投影点的对应关系；

获取原始影像像素的颜色信息，根据所述原始影像像素与球面投影点的对应关系，将所述颜色信息转换为所述原始影像像素对应的球面投影点的颜色信息；

根据影像分辨率对所有球面投影点的颜色信息进行插值计算得到影像颜色信息；

根据所述影像颜色信息生成全景影像。

第二方面，本发明实施例还提供一种终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以实现上述任一项所述的利用空间三维信息辅助全景相机拼接的方法的步骤。

第三方面，本发明实施例还提供一种存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述任一项所述的利用空间三维信息辅助全景相机拼接的方法的步骤。

本发明的有益效果：本发明实施例根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；根据所述目标模型得到全景影像。从而有效地解决了现有技术中的全景影像拼接时出现断崖式错误的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的利用空间三维信息辅助全景相机拼接的方法的流程示意图。

图2是本发明实施例提供的建立空间三维点与原始影像像素的对应关系的流程示意图。

图3是本发明实施例提供的建立空间三维点与原始影像像素的对应关系的详细流程图。

图4是本发明实施例提供的构建目标模型的流程示意图。

图5是本发明实施例提供的获取标准投影点的流程示意图。

图6是本发明实施例提供的获取球面投影点的流程示意图。

图7是本发明实施例提供的构建目标模型的详细流程图。

图8是本发明实施例提供的生成全景影像的流程示意图。

图9是本发明实施例提供的全景影像拼接出现断崖式错误的原因的示意图。

图10是本发明实施例提供的利用传统拼接方法获取的天台的第一全景影像。

图11是本发明实施例提供的利用传统拼接方法获取的天台的第二全景影像。

图12是本发明实施例提供的利用传统拼接方法获取的天台的第三全景影像。

图13是本发明实施例提供的利用利用空间三维信息辅助全景相机拼接的方法得到的天台的全景影像。

图14是本发明实施例提供的终端的原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

全景相机是由多个分相机或者分镜头组成的能获得水平360度影像信息的相机系统，全景影像是通过将多个分相机获取的原始影像拼接为整体而得到的。

通常使用的拼接方法有以下两种：1.利用相机关系，根据标定获得的各相机中心所在的位置和相机的内参数，计算各像片的三维转换矩阵进行拼接。2.利用影像匹配法，根据各相机影像之间的重叠区域进行同名点匹配，计算获得三维转换矩阵进行拼接。

然而这两种全景相机拼接方法各有缺陷，都会导致全景影像出现拼接缝，即拼接区域出现断层，不重合。第一种相机关系法，各相机的相机中心与整个全景相机的中心不重合，从而造成以全景相机中心为原点的全景相机拼接产生投影误差；同时使用标定方法获取各像片对应的相机中心的位置还受限于标定精度。第二种影像匹配法，由于各相机的重叠区域较小，无法获取足够均匀分布的同名点，且重叠区域位于畸变较大的像片边缘，因此会导致影像匹配得出的转换参数不可靠，进而也会产生投影误差。

举例说明，如图9所示，以水平360度平均分布的5个分相机组成的全景相机作俯视图为例，O为相机中心，O

然而在现有的全景影像的拼接技术中P

基于现有技术的上述缺陷，本发明建立了可以正确进行投影得到全景影像的目标模型。所述目标模型可以实现对全景影像中的像素的颜色信息进行正确赋值，从而解决投影错误和拼接缝的问题。

如图1所示，所述方法包括如下步骤：

步骤S100、根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系。

空间三维信息是指借助三维点云、三维模型等具有形状、位置等属性的空间信息载体来描述的空间信息。本实施例中，可以根据与所述相机刚性连接的Lidar传感器获取相机拍摄场景的空间三维信息。在实际操作中，为了将分相机拍摄的原始影像正确地投影出来，需要在真实的空间三维点与原始拍摄影像中的原始影像像素之间建立一种对应关系，从而实现后续为全景影像的每一个像素的颜色信息进行正确赋值。

在一种实现方式中，如图2所示，所述步骤S100具体包括如下步骤：

步骤S110、获取原始影像以及原始影像对应的场景的空间三维信息，根据所述空间三维信息得到旋转矩阵和平移向量；

步骤S120、根据所述空间三维信息得到旋转矩阵和平移向量；

步骤S130、根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系。

首先需要获取原始影像对应的场景的空间三维信息。本实施例以ladybug5+全景相机为例，该全景相机包含6个分镜头(相当于本实施例中的分相机)。ladybug5+与能够进行线扫描的LiDAR刚性连接。全景影像拍摄时，LiDAR在空间中的位置根据LiDAR SLAM已知，而全景相机在场景中的相对位置和朝向可以根据与LiDAR的相对关系获得。使用LiDAR进行LiDAR SLAM得到的全景相机拍摄的场景的三维点云数据可以得到所述空间三维信息。

然后根据空间三维信息，获取全景相机的相对姿态，即获取全景相机在三维空间中的位置T和朝向R，得到旋转矩阵和平移向量。当空间三维信息由与全景相机刚性连接的传感器获得时，可以通过标定法得到各相机的内参数和互相之间的位置和旋转关系；当空间三维信息由离散的点组成的时候，则将二维特征点和单位特征点进行匹配获取各相机的内参数和互相之间的位置和旋转关系；当空间三维信息由线和面组成的时候，则将边缘线和角点进行匹配获取各相机的内参数和互相之间的位置和旋转关系。当获取到所述旋转矩阵和所述平移向量以后，根据所述旋转矩阵和所述平移向量将空间三维点从空间坐标系下的转换至该相机自身的相机坐标系下，从而实现建立所述空间三维点与原始影像像素的对应关系。

在一种实现方式中，如图3所示，所述步骤S130具体包括如下步骤：

步骤S131、根据所述旋转矩阵和所述平移向量，得到用于表示空间坐标系下的坐标与相机坐标系下的坐标的转换关系的第一转换式；

步骤S132、获取所述分相机的内参数，根据所述内参数，得到用于表示相机坐标系下的坐标与像平面坐标系下的坐标的转换关系的第二转换式；

步骤S133、根据所述第一转换式与所述第二转换式，建立所述空间三维点与原始影像像素的对应关系。

本实施例中除了涉及空间坐标系与相机坐标系之间的转换，还涉及到相机坐标系与像平面坐标系之间的转换。其中，空间坐标系指的是客观世界下的一种绝对坐标系，表示物体在空间中的实际位置，用来描述三维空间中物体与相机之间的坐标位置关系。相机坐标系是基于相机的透镜光学成像原理建立的，其中坐标系的坐标原点就是摄像机的光心，Z轴与摄像机光轴重合，且垂直于成像平面。像平面坐标系是基于摄像机光敏成像表面和摄像机光轴上原点形成的一个二维坐标系，像平面坐标系平面的X轴和Y轴分别与摄像机坐标系平面X轴和Y轴平行，像平面坐标系的坐标原点就是摄像机坐标系轴和像平面坐标系之间的交点。分相机中存储有像平面坐标点与原始影像像素的对应关系，因此在已知相机单位像元尺寸的情况下可以将像平面坐标系上的坐标点转换为对应的原始影像像素。

具体地，空间坐标系与相机坐标系之间的转换主要依靠旋转矩阵以及平移向量进行转换。将所述分相机所处的空间坐标系根据所述旋转矩阵进行旋转以及根据所述平移向量进行平移后即可转换为所述分相机自身的相机坐标系，并由此得到空间坐标点与相机坐标点之间的转换公式，即第一转换式。举例说明，假设空间坐标系中的坐标点为(X

其中，RL为3*3的旋转矩阵，TL为3*1的平移向量。通过所述第一转换式可以将位于空间坐标系下的空间三维点转换至相机坐标系下，得到对应的相机坐标点。

相机坐标系与像平面坐标系之间的转换主要依靠相机的内参数进行转换。根据分相机的内参数，将相机坐标系下的相机坐标点投影到像平面坐标系下得到该相机坐标点对应的像平面坐标点，并由此得到相机坐标点与像平面坐标点之间的转换公式，即第二转换公式。通过所述第二转换公式可以将相机坐标系中的坐标转换为像平面坐标系中的坐标。举例说明，假设相机坐标系中的坐标点为(X’

其中，K为3*3的矩阵，属于相机的内参数。由于像平面坐标系中的坐标点与各个分相机拍摄的原始影像像素具有对应关系，因此确定了相机坐标点与像平面坐标点的对应关系，即相当于间接确定了相机坐标点与像素的对应关系。而相机坐标点通过所述第一转换式可得其对应的空间三维点，因此根据所述第一转换式和所述第二转换式可以建立所述空间三维点与原始影像像素的对应关系。

获取到空间三维点与原始影像像素的对应关系之后，为了得到用于实现正确投影的目标模型，如图1所示，所述方法还包括如下步骤：

步骤S200、根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型。

当利用多个分相机进行拍摄后，通常会将所有分相机拍摄的原始影像都映射到一个标准投影。鉴于球面的可视化效果更佳，通常选取球面作为标准投影的表面。然而现有技术中将多个分相机拍摄的影像合成为球面模型的全景影像，常常会出现拼接区域因像素的颜色信息错误而出现明显的拼接缝，因此本实施例中引入了用于获取正确的像素颜色信息的目标模型。

在一种实现方式中，如图4所示，所述步骤S200还包括如下步骤：

步骤S210、获取所述空间三维点的空间坐标；

步骤S220、根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到标准投影点；

步骤S230、根据所述标准投影点得到球面投影点；

步骤S240、根据所述球面投影点构建目标模型。

具体地，首先获取所述空间三维点的空间坐标，根据所述空间三维点的空间坐标以及所述空间三维点与原始影像像素的对应关系，可以得到所述空间三维点对应的原始影像像素及其在像平面坐标系中的坐标，并根据所述原始影像像素的像平面坐标得到所述空间三维点对应的标准投影点。然后获取所述标准投影点在投影球面上对应的球面投影点，则该球面投影点可以对应真实的空间三维点。因此根据所述球面投影点构建的目标模型，可以将全景影像像素与真实的空间三维点对应，从而实现后续全景影像中的像素获得正确的颜色信息。

在一种实现方式中，如图5所示，所述步骤S220具体包括如下步骤：

步骤S221、根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到所述空间三维点对应的像平面坐标点；

步骤S222、根据所述像平面坐标点得到所述原始影像像素的像素深度；

步骤S223、根据所述分相机的中心以及所述像素深度，得到标准投影点。

具体地，已知空间三维点的空间坐标，则通过所述空间三维点与原始影像像素的对应关系，可以得到与该空间三维点对应的原始影像像素及其对应的像平面坐标点，根据所述像平面坐标点的坐标和预设的像素深度计算公式可以得到该原始影像像素的像素深度。

举例说明像素深度的计算过程，假设空间三维点的空间坐标为(X

在一种实现方式中，如图6所示，所述步骤S230具体包括如下步骤：

步骤S231、以全景相机的中心为球心，得到投影球面；

步骤S232、将所述标准投影点投影至所述投影球面上，得到球面投影点。

本实施例需要首先确定与真实的空间三维点对应的标准投影点，然后根据所述标准投影点得到球面投影点，如此得到的球面投影点就能够正确地对应真实的空间三维点。具体地，首先以所述全景相机的中心为球心，任意长度为半径，得到用于投影原始影像的投影球面，然后将所述标准投影点投影至所述投影球面上，得到球面投影点。在一种实现方式中，该步骤可以通过将所述标准投影点与所述球心连接，连接后得到的线段与投影球面的交点，即为所述标准投影点对应的球面投影点。在一种实现方式中，为了节约计算资源，可以将所述投影球面的半径设置为1。

在一种实现方式中，如图7所示，所述步骤S240具体包括如下步骤：

步骤S241、获取所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离；

步骤S242、根据所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离构建目标模型。

本实施例需要获取所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离，并以此作为目标模型中每个节点的附属信息，进而构建目标模型。所述目标模型中的每一个节点都有与之对应的真实的空间三维点，根据所述空间三维点与原始影像像素的对应关系，即可得到目标模型中每一个节点对应的原始影像像素。另一方面，目标模型中的每一个节点还有与之对应的球面投影点，因此通过所述目标模型，可以实现原始影像像素与球面投影点的正确对应。

获取到所述原始影像像素与球面投影点的正确对应关系以后，为了得到正确投影的全景影像，如图1所示，所述方法还包括如下步骤：

步骤S300、根据所述目标模型得到全景影像。

本实施例的最终目的是为了使投影出的全景影像的颜色信息正确。由于所述目标模型可以实现原始影像像素与球面投影点的正确对应，因此通过所述目标模型获取球面投影点的颜色信息即可生成正确投影的全景影像。

在一种实现方式中，如图8所示，所述步骤S300具体包括如下步骤：

步骤S310、根据空间三维点与原始影像像素的对应关系以及所述目标模型，得到原始影像像素与球面投影点的对应关系；

步骤S320、获取原始影像像素的颜色信息，根据所述原始影像像素与球面投影点的对应关系，将所述颜色信息转换为所述原始影像像素对应的球面投影点的颜色信息；

步骤S330、根据影像分辨率对所有球面投影点的颜色信息进行插值计算得到影像颜色信息；

步骤S340、根据所述影像颜色信息生成全景影像。

具体地，由于目标模型中包含真实的空间三维点与球面投影点的对应关系，因此加上空间三维点与原始影像像素的对应关系，即可得到原始影像像素与球面投影点的对应关系。然后获取原始影像像素的颜色信息，根据所述原始影像像素与球面投影点的对应关系，将其转换为对应的球面投影点的颜色信息。然后根据所述分相机的影像分辨率对所有球面投影点的颜色信息进行插值计算，即可得到正确的全景影像的颜色信息，从而生成正确投影的全景影像。举例说明，目标模型模型中的每一个节点可以用(φ，ω，r)的形式表示，φ、ω为球面投影点的经纬度数据，r为标准投影点到所述球心的距离。每个节点(φ，ω，r)均可以与一个空间三维点(X

图10、11、12为利用传统拼接方法获取的天台的全景影像，图13为利用本发明的方法获取的天台的全景影像。如图10所示，利用传统拼接方法将投影球面的半径设置为1米，可见中间明显的拼接缝，右边的围墙也有明显拼接缝。如图11所示，利用传统拼接方法将投影球面半径设置为3米，近处的木椅拼接较好，而瓷砖和花坛墙面出现明显错误，右边围墙也有少许错误。如图12所示，利用传统拼接方法将投影球面半径设置为10米，近处错误，远处花坛墙面正确，右边围墙基本正确。如图13所示，利用本发明的方法得到的全景图像无论不同深度的景象均基本投影正确。因此通过本发明提供的方法，可以有效解决现有技术中全景影像投影错误和拼接缝的问题。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图14所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种利用空间三维信息辅助全景相机拼接的方法的方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解，图14中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一种实现方式中，所述智能终端的存储器中存储有一个或者一个以上的程序，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行一种利用空间三维信息辅助全景相机拼接的方法的方法的指令。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了一种利用空间三维信息辅助全景相机拼接的方法，所述方法包括：根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；根据所述目标模型得到全景影像。从而有效地解决了现有技术中的全景影像拼接时出现断崖式错误的问题

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。