一种针对车载移动测量系统的360°可量测全景影像生成方法

摘要

本发明公开了一种针对车载移动测量系统的360°可量测全景影像生成方法，将获得的全景影像数据和点云数据转换为平面投影坐标系下的点云数据，作为基础数据；将各子相机图像拼接后的全景影像数据看作球形建立全景球坐标系；将全景球坐标系下的点云数据转换成全景距离影像；从全景影像数据中获得待测目标对应的像坐标，利用像坐标从全景距离影像中获取待测目标对应的距离信息计算出待测目标对应的实际坐标，进而计算出两点的实际距离。本发明引入了全景距离影像的概念，在生成距离影像过程中，针对因遮挡等因素导致点云缺失的情况，采用球面线性插值法进行内插，保证生成的全景距离影像的完整性，减少了误差，提高了精度。

说明书

技术领域

本发明属于车载移动测量数据处理领域，具体涉及一种针对车载移动测量系统的360°可量测全景影像生成方法。

背景技术

随着社会经济和城市建设的飞速发展，需要快速获取建筑物、交通网络、城市部件等信息，用于城市进一步合理的建设开发。传统的数据采集一般由全站仪、GPS等完成，这些数据采集方式需要消耗大量的人力资源，且由于外业人员具有主观性，可能会造成某些信息遗漏的现象。随着车载移动测量系统的不断完善，给城市三维信息获取提供了新的思路。

车载移动测量系统可以快速获取高精度激光点云和360°全景影像数据，全景影像数据具有直观性强、展示范围广的特点。但是目前众多平台的全景影像只单纯的用来实景浏览、漫游及兴趣点查看等，未能充分挖掘全景影像的三维应用，即基于全景影像的三维定位与量测功能。全景影像可以利用配准映射建立与激光点云数据的真实三维坐标关联，通过全景影像像素坐标寻找到与之对应的点云空间坐标，进而对影像中的地物目标进行定位和量测。

中国专利申请号201610933103.2公开了一种利用激光点云辅助的可量测全景影像生成方法，步骤1，将全景影像进行虚拟成像获得多幅框幅式影像；步骤2，选取初始点对，并初始化各框幅式影像的外方位元素；步骤3，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；步骤4，构建激光点云的空间索引，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；步骤5，计算邻域点云中各激光点的法向量，获得邻域点云的特征；步骤6，将邻域点云的深度和特征投影到全景影像。该专利是在平面图像上进行插值操作，虽然可提高测量精度，但是仍旧存在以下不足：

1在初始化外方位元素方面，随机选取影像上的角点对应的激光点云，存在误差；若选取房屋角点、花坛角点等不同距离、不同高程的明显点云特征点，得到的结果会更精确。

2在点云投影到全景影像方面，对栅格无对应点云的情况，利用双三次内插得到栅格深度，适用性较弱，没有顾虑到全景球展成平面的照片的投影误差，结果精度无法保证。

3该方法缺少试验验证，未给出实际地物量测精度。

发明内容

针对现有方法存在的将全景球影像展成平面影像过程中存在投影误差导致精度无法保证的技术缺陷，本发明研究全景影像和点云数据的相对空间位置关系标定方法，并引入球面投影距离影像算法，提出一种针对车载移动测量系统的360°可量测全景影像生成方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于车载移动测量系统的360°可量测全景影像生成方法，其特征在于，包括以下步骤：

第一步：利用车载移动测量系统，快速采集测区内全景影像数据和点云数据，受定位方式影响，点云数据坐标系为WGS84空间直角坐标，需要将点云数据进行投影变换，转换到平面投影坐标系下，作为基础数据；

第二步：全景相机中多个子相机的摄影中心距离较近，各子相机图像拼接后的全景影像数据可看作球形，建立全景球坐标系，具体方法为：

在基础点云数据中选取一处特征较明显的区域，并通过时间定位找到对应的全景影像数据；从基础点云数据中选取一组点云特征点，从全景影像数据中选取与该组点云特征点相对应的同名像点，组成一组对应特征点，根据该组对应特征点通过共线方程最小二乘迭代算法计算全景相机内方位元素和全景影像在平面投影坐标系中的外方位元素；

第三步：将全景球坐标系作为全景距离影像坐标系，利用已得到的全景相机的内方位元素和全景影像外方位元素，将点云数据进行球坐标投影，并利用球面线性插值法对生成的距离影像中的局部空白区域进行插值，最后通过投影变换生成全景距离影像；

第四步：从全景影像数据中获得待测目标对应的像坐标，利用像坐标从全景距离影像中获取待测目标对应的距离信息，最后根据匹配全景影像的外方位元素和内方位元素计算出待测目标对应的实际坐标，进而计算出两点的实际距离。

进一步，上述步骤一包括如下子步骤：

1.1)将车载移动测量系统采集获得的全景影像数据和点云数据，通过数据融合处理与空间坐标基准变换，获得平面投影坐标系下的点云数据，作为特征提取和影像匹配的基础数据。

进一步，上述步骤二包括如下子步骤：

2.1)分别加载点云数据和全景影像数据，通过人机交互方式，从基础点云数据中选取房屋角点、花坛角点等不同距离、不同高程的明显点云特征点(X,Y,Z)^T，在全景影像数据中选取与点云特征点(X,Y,Z)^T相对应的同名像点(x_p,y_p,z_p)^T，组成一对对应特征点；每一对对应特征点可以列两组方程，为计算全景相机内方位元素(x₀,y₀,-f)^T和全景影像外方位元素即选取的一组对应特征点至少包含5对对应特征点才能解算出9个未知参数；根据最小二乘原理可知，对应特征点越多解的精度也越高，但需要严格设计对应特征点的分布，具体选取要求如下表所示：

2.2)建立全景球坐标系和全景影像坐标系；

规定以全景球球心(即全景相机摄影中心)作为全景球坐标系原点O，Y轴指向车行方向，X轴指向车体右侧，Z轴垂直向上；规定以全景球下侧极点位置作为全景影像坐标系原点O，以全景球展开后长轴方向作为X轴，短轴作为Y轴，Z轴垂直XOY面；全景影像球坐标系与全景影像坐标系转换关系如下：

式中r为全景球半径，X_s、Y_s、Z_s为全景球坐标系下的球面坐标，x_p、y_p为全景影像坐标系对应的像点坐标；

全景相机内方位元素(x₀,y₀,-f)^T即全景相机摄影中心在全景球坐标系下的位置，设全景相机摄影中心在平面投影坐标系中的坐标为(X₀,Y₀,Z₀)^T，点云特征点(X,Y,Z)^T在全景影像坐标系中的坐标为(x_p,y_p,z_p)^T，缩放因子为λ，根据目标点云特征点、像点以及摄影中心三点共线原理，列出共线方程：

将上式变形为：

其中(a₁,a₂,a₃,b₁,b₂,b₃,c₁,c₂,c₃)为：

上述公式中的φ、κ、ω分别代表围绕x轴、y轴、z轴的旋转角度。

将上述方程利用泰勒级数展开，进行线性化，利用最小二乘原理，通过迭代求取方程最优参数解，如满足精度要求，停止迭代；方程最优解即为全景相机内方位元素和全景影像在平面投影坐标系下的外方位元素。

进一步，上述步骤三包括如下子步骤：

3.1)将全景影像坐标系与全景距离影像坐标系统一；

在全景球坐标系下，连接点云点和全景相机摄影中心，得到该直线与全景距离影像球面的交点像素坐标，计算点云点和全景相机摄影中心的空间距离D，将该空间距离作为交点像素的图像像素值，利用颜色分量R、G、B表示距离，具体转换公式如下：

为确保量测结果精度达到厘米级别，设计三分量的范围为R：1-100；G：1-255；B：1-255；并按照2.2步中的定义投影成全景影像坐标系下的全景距离影像；

3.2)以全景相机摄影中心(X₀,Y₀,Z₀)^T为原点，获取一定范围内(一般在40-60米范围内)的点云数据。由于距离越远相机的畸变增大，且遮挡可能会增多，因此点云数据范围需要根据实际现场情况确定，则点云点p_i的方向角α_i和高度角β_i的计算公式如下所述：

3.3)计算每个点云点在距离影像上的对应的行号row和列号col，实现格网化；并计算每个点云点的距离d_i，并作为灰度值赋值给相对应的格网；点云点距离d_i计算公式如下所示：

3.4)循环遍历该区域所有点云数据，生成全景距离影像；点云数据和全景影像数据分辨率不同，导致每一个点云点都可以对应一个格网号，但是每一个格网号可能对应多个点云点；如果一个格网号对应多个点云数据，则取距离最近点作为该格网的灰度值；

3.5)实际测量过程中，受外界环境遮挡等因素影响，存在部分区域不能扫描到，即无点云覆盖的区域。为保证生成的全景距离影像的完整性，对该区域利用内插法进行插值计算。采用基于球面线性四元数插值法对空白区域进行插值计算。设球心为o，待插值点为w，p、q分别为待插值点圆弧两侧已知点，则单位球面的四元数插值公式：

其中0<t<1，和分别为需要插值处圆弧两端的单位向量，θ_sle为向量和的夹角。

经过内插处理后，无点云数据覆盖区域可以获得较准确的灰度值；

进一步，上述步骤四包括如下子步骤：

4.1)通过人机交互，手动在全景照片中选择需要量测的目标，获取该点的像点坐标(X_s,Y_s,Z_s)^T，通过全景影像和全景距离影像之间的关系，得到目标点与全景相机摄影中心之间的距离d；

4.2)利用第二步中计算出的全景影像的外方位元素，计算目标像点在全景球坐标系下的坐标，转换关系如下：

其中：

4.3)在实际平面投影坐标系下，全景相机摄影中心点坐标为(X₀,Y₀,Z₀)^T,目标点对应的全景球坐标系下坐标为(X_s,Y_s,Z_s)^T，则全景相机摄影中心点到目标点构建的方向向量为：

4.4)根据全景相机摄影中心与目标点之间的距离d和全景相机摄影中心点到目标点的方向向量这样便可得到目标点在实际平面投影坐标系下空间三维坐标位置：

本发明具有如下优点：

本发明基于全景摄影测量原理，建立全景影像数据和点云数据的空间位置匹配关系。为提高全景影像量测效率，引入了全景距离影像的概念，通过将一定范围内的点云数据生成全景距离影像，简化点云目标计算量。在生成距离影像过程中，针对因遮挡等因素导致点云缺失的情况，采用球面线性插值法进行内插，保证生成的全景距离影像的完整性。最终采用人机交互操作方式，操作简便，通过手动选取全景影像中目标，经过坐标反算得到该目标点的实际三维坐标。经验证能满足精度要求。

附图说明

图1为本发明提供的一种针对车载移动测量系统的360°可量测全景影像生成方法数据处理流程图；

图2为本发明提供的球面线性插值示意图；

图3为本发明提供的利用全景影像量取行人身高示意图；

图4为本发明提供的街景道路标线宽度量测示意图；

图5为本发明提供的街景杆状目标高度量测示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细描述：

结合图1所示，一种针对车载移动测量系统的360°可量测全景影像生成方法，包括如下步骤：

a、利用车载移动测量系统，快速采集测区内全景影像数据和点云数据，将点云数据进行投影变换，转换到平面投影坐标系下，作为基础数据；具体包括如下子步骤：

a1、将车载移动测量系统采集获得的全景影像数据和点云数据，通过数据空间坐标基准变换，获得平面投影坐标系下的点云数据，作为特征提取和影像匹配的基础数据；

b、利用a步骤中的基础点云数据，从基础点云数据中选取一处特征较明显的区域，通过时间定位找到对应的全景影像数据。从基础点云数据中选取一组点云特征点，从全景影像数据中选取与该组点云特征点相对应的同名像点，组成一组对应特征点，根据该组对应特征点通过共线方程最小二乘迭代算法计算全景影像在平面投影坐标系中的外方位元素；具体包括如下子步骤：

b1、分别加载点云数据和全景影像数据，利用目视解译，从基础点云数据中选取房屋角点、花坛角点等不同距离、不同高程的明显点云特征点(X,Y,Z)^T，在全景影像数据中选取与点云特征点相对应的同名像点(x_p,y_p,z_p)^T。选取的特征点至少包含5对对应特征点。根据最小二乘原理可知，对应特征点越多解的精度也越高，在较理想环境下，对应特征点选取要求如下表所示：

b2、建立全景球坐标系和全景影像坐标系。规定全景球坐标系以全景球球心作为全景球坐标系原点O，Y轴指向车行方向，X轴指向车体右侧，Z轴垂直向上。规定全景影像坐标系以全景球下侧极点位置作为全景影像坐标系原点O，以全景球展开后长轴方向作为X轴，短轴作为Y轴，Z轴垂直XOY面。全景影像球坐标系与全景影像坐标系转换关系如下：

式中r为全景球半径，X_s、Y_s、Z_s为全景球坐标系下的球面坐标，x_p、y_p为全景影像坐标系对应的像点坐标。

全景相机内方位元素(x₀,y₀,-f)^T即全景相机摄影中心在全景球坐标系下的位置，全景相机摄影中心在平面投影坐标系中的坐标为(X₀,Y₀,Z₀)^T，点云特征点(X,Y,Z)^T在全景影像坐标系中的坐标为(x_p,y_p,z_p)^T，缩放因子为λ，根据目标点云特征点、像点以及摄影中心三点共线原理，列出共线方程：

将上式变形为：

其中(a₁,a₂,a₃,b₁,b₂,b₃,c₁,c₂,c₃)为：

将共线方程线性化，利用最小二乘原理，迭代进行参数求解，原方程的误差方程表示如下：

V＝AX-L

其中

为了方便表示，引入下面的符号

则共线方程可以写成

经过推导可以得到误差方程中各偏导数的值为：

将共线方程利用泰勒级数展开，进行线性化，利用最小二乘原理，通过迭代求取方程最优参数解，如满足精度要求，停止迭代。方程最优解即为全景相机内方位元素和全景影像在平面投影坐标系下的外方位元素；

c、将全景影像坐标系作为全景距离影像坐标系，利用已得到的全景影像的内方位元素和外方位元素，将点云数据生成距离影像，并利用球面线性插值法对生成的全景距离影像进行插值；具体包括如下子步骤：

c1、将全景影像坐标系与全景距离影像坐标系统一。在全景球坐标系下，连接点云点和全景相机摄影中心，得到该直线与全景距离影像球面的交点像素坐标，计算激光点云点和全景相机摄影中心的空间距离D，将该空间距离作为交点像素的图像像素值，利用颜色分量R、G、B表示距离，具体转换公式如下：

三分量R、G、B的范围为R：1-100；G：1-255；B：1-255。并按照b2步中的定义投影成平面投影坐标系下的全景距离影像；

c2、循环遍历该区域所有点云数据，生成全景距离影像。点云数据和全景影像数据分辨率不同，导致每一个点云点都可以对应一个格网号，但是每一个格网号可能对应多个点云点。如果一个格网号对应多个点云数据，则取距离最近点作为该格网的灰度值。实际测量过程中，受外界环境遮挡等因素影响，存在部分区域不能扫描到，即无点云覆盖的区域。为保证生成的全景距离影像的完整性，对该区域利用球面线性插值法进行插值计算。如图2所示，设球心为o，待插值点为w，p、q分别为待插值点圆弧两侧已知点，根据单位球面的四元数插值公式：

其中0<t<1，和分别为需要插值处圆弧两端的单位向量，θ_sle为向量和的夹角；

d、从全景影像中获得待测目标对应的像坐标，利用像坐标从全景距离影像中获取待测目标对应的距离信息，最后根据匹配影像的外方位元素和内方位元素计算出待测目标对应的实际坐标，进而计算出两点的实地距离；具体包括如下子步骤：

d1、通过人机交互，手动在全景照片中选择需要量测的目标，获取该点的像点坐标(X_s,Y_s,Z_s)^T，通过全景影像和全景距离影像之间的关系，得到该点的距离d；

d2、利用第二步中计算出的全景影像的外方位元素，计算目标像点在全景球坐标系下的坐标，转换关系如下：

其中：

d3、在实际平面投影坐标系下，全景相机摄影中心点坐标为(X₀,Y₀,Z₀)^T,目标点对应的全景球坐标系下坐标为(X_s,Y_s,Z_s)^T，则全景相机摄影中心点到目标点构建的向量为：

d4、利用d1步骤中从距离影像中匹配出来的全景相机摄影中心与目标点之间的距离d和d3步骤中求出的全景相机摄影中心点到目标点的方向向量这样便可得到目标点在实际平面投影坐标系下空间三维坐标位置：

图3显示的是利用全景影像量取行人身高过程，其中图中左侧为点云数据，右侧为全景影像数据，并实时显示选取的行人头部和脚部的三维坐标。利用两张全景照片分别对行人身高进行量测，经计算得行人身高为1.74m，其实际身高为1.75m，量测结果偏差1cm。能够满足精度要求；

图4、图5是利用全景影像对实际地物进行量测，并将高精度点云数据作为真值进行比较，其中，图4为道路标线水平宽度量测，在点云数据中量测宽度为3.574m，利用全景量测获取的宽度为3.56m，二者相差1.4cm。图5为地物垂直高度量测，点云数据中量测垂直高度为6.078m，利用全景影像量测的结果为6.08m，二者相差0.2cm。两次测量结果误差均可控制在5cm以内，具有较高的精度，可以满足精度要求；

当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。