基于街景图像与车载激光融合的城市场景构图方法及系统

摘要

本发明属于场景构图领域，具体涉及了一种基于街景图像与车载激光融合的城市场景构图方法及系统，旨在解决现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建的问题。本发明包括：分别标定街景相机的内外参数初始值，激光雷达的外参数初始值；基于待构图场景图像构建基于图像特征的优化方程，基于激光点云构建基于点云特征的优化方程，基于每一幅待构图场景图像及对应的各站激光点云构建基于图像与激光对应的优化方程；将优化方程融入统一的全局优化框架，对待优化参数求解并迭代，获得待构图场景的三维构图。本发明实现了大规模城市场景高效、鲁棒、精确的三维构图，为融合多源数据的场景建模提供了思路。

说明书

技术领域

本发明属于场景构图领域，具体涉及了一种基于街景图像与车载激光融合的城市场景构图方法及系统。

背景技术

城市场景的高精度三维地图在无人驾驶、智慧城市等领域有着广泛的应用与迫切的需求。由于城市场景具有规模大、动态高、结构多样等特点，其高精度三维地图的构建一直以来都是一个研究难点与关键问题。

现有方法大多采用视角更大、视场更广的航拍图像进行三维构图，尽管可以实现城市场景的高效、完整建模，但构建的三维地图缺乏细节，无法应用于无人驾驶、智慧城市等领域。针对城市场景的大规模问题，现有方法多采用从运动恢复结构（SfM，Structurefrom Motion）与多视图立体（MVS，Multiple View Stereo）技术进行稀疏与稠密重建。在重建过程中通过图像检索、分组或者并行化处理技术实现海量图像的高效重建。另外，在基于图像的城市场景三维构图中，有时还会引入其他辅助信息，如相机运动轨迹、相对位姿约束或者全球定位系统（GPS，Global Positioning System）、惯性测量单元（IMU，InertialMeasurement Unit）信息等，以获取更为精确的相机位姿估计结果。然而，现有的基于图像的城市场景构图方法依赖于图像局部纹理特征，易受外界环境干扰，在对动态程度高的城市场景进行构图时会存在精度低、鲁棒性差的不足，甚至出现场景漂移的现象。

基于激光的城市场景三维构图方法中也存在一些利用扫描范围更广的机载激光雷达（LiDAR，Light Detection And Ranging）数据进行城市场景构图的方法。但是与基于航拍图像的方法类似，这类方法构建的地图也存在建筑物立面细节缺乏的问题。而基于车载激光点云的城市场景构图方法主要采用LiDAR同时定位与构图（SLAM，SimultaneousLocalization And Mapping）技术。这类方法采用基于2D LiDAR或者3D LiDAR的方式，有时还会引入如GPS或IMU等辅助信息，实现高效的定位与构图。这类方法的优势在于效率较高，但是构建的地图存在场景稀疏、信息缺失等不足。另外，为获取城市场景更为稠密的激光点云，也可以通过激光扫描仪获取的海量激光点云构建城市场景三维地图。然而，由于大型激光扫描仪的扫描范围受限以及数据采集不便，这类方法难以实现场景的完整覆盖。针对上述问题，存在一些由激光点云获取完整场景模型的方法。其中一些方法利用自相似结构或者简单块体建筑，从不完整的激光扫描结果重建完整的建筑或立面场景；另外一些方法基于曼哈顿世界假设，通过激光点云构建规整的城市场景地图。尽管上述方法有时可以取得较好的重建结果，这些方法或者依赖于用户交互，或者基于较强假设，使其拓展性较差。因此，现有的基于激光的城市场景构图方法难以兼顾场景细节的完整度与场景规模的拓展性。

由于图像与激光数据差异过大、融合困难，基于两种数据融合的场景三维构图方法并不常见。其中一类主要方法是基于SLAM的方法。这类方法通过在图像与激光数据中提取并融合特征，然后引入SLAM框架之中，使其兼具视觉SLAM与激光SLAM的优势。有时，为提高系统的鲁棒性，还会进一步将IMU信息引入其中。尽管这类方法相对于基于单一（图像或激光）数据的SLAM系统在性能上有一定提升，然而由于SLAM框架的在线特征匹配与位姿优化机制，使得这类方法无法充分利用全局信息，在面向大规模场景时仍然会出现场景漂移现象。并且，这类方法更倾向于精确、高效的定位，而不注重完整、鲁棒的构图，因此其构建的三维地图应用场景较为受限。除此之外，还有一些专注三维重建的图像与激光融合方法。然而，这类方法均基于底层局部特征，且面向的对象主要是单体建筑或者小规模建筑群，在面向高动态、大规模城市场景进行构图时存在鲁棒性、拓展性较差的问题。因此，现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建。

发明内容

为了解决现有技术中的上述问题，即现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建的问题，本发明提供了一种基于街景图像与车载激光融合的城市场景构图方法，该城市场景构图方法包括：

步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街 景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数 初始值；所述街景相机，其内参数包括焦距

步骤S20，提取街景相机获取的待构图场景图像的SIFT（Scale InvariantFeature Transform，尺度不变特征变换）特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；

步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；

基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；

采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；

步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；

步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。

在一些优选的实施例中，所述激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：

步骤S21，分别将所述激光点云中各站激光点云由直角坐标系

步骤S22，将转换后的激光点云投影至

步骤S23，根据激光点云在

步骤S24，采用广度优先搜索法对所述非地面点按照

步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在

在一些优选的实施例中，所述边缘特征匹配，其方法为：

对于当前激光站对应的边缘点子集

在一些优选的实施例中，所述平面特征匹配，其方法为：

对于当前激光站对应的平面点子集

在一些优选的实施例中，所述基于图像特征的优化方程，其构建方法为：

步骤S311，根据所述街景相机的内参数初始值和外参数初始值，采用基于随机抽样一致性的三角测量法计算各特征轨迹对应场景点的三维坐标初值；

步骤S312，利用所述街景相机的内参数初始值和外参数初始值将所述各特征轨迹对应场景点的三维坐标初值进行重投影；

步骤S313，以重投影点与对应的图像SIFT特征点的像素距离为优化目标，以特征轨迹对应的场景点三维坐标以及各幅街景图像对应的街景相机的内参数和外参数为待优化参数，构建基于图像特征的优化方程。

在一些优选的实施例中，步骤S20中获得待构图场景图像的特征轨迹之后还设置有特征轨迹滤除步骤，其方法为：

将基于随机抽样一致性的三角测量法获取的处于设定阈值范围内的数据子集划分为内值；

将内值可见图像数量小于3幅或者场景点与各内值可见相机光心连线夹角最大值小于2°的特征轨迹滤除。

在一些优选的实施例中，所述基于点云特征的优化方程，其构建方法为：

步骤S321，基于所述激光雷达的外参数初始值，将所述平面特征和边缘特征转换为世界坐标系，并通过KNN（K Nearest Neighbor，K最近邻）法分别获取各站激光点云位于世界坐标系下的最近的设定第一数量的激光雷达站点，进行各站激光点云的边缘特征匹配与平面特征匹配；

步骤S322，对于边缘特征匹配，以激光点

在一些优选的实施例中，所述基于图像与激光对应的优化方程，其构建方法为：

步骤S331，基于所述街景相机与激光雷达的外参数初始值，通过KNN法分别获取与各街景相机光心最近的设定第二数量的激光雷达站点；

步骤S332，分别将每一个街景相机对应的所述设定第二数量的激光雷达站点的激光点云投影至街景相机采集的待构图场景图像上，获得二维投影点集；

步骤S333，通过二维三角化法分别基于所述二维投影点集构建位于对应的街景相机成像平面上的平面三角形集合；

步骤S334，基于所述平面三角形集合，结合图像特征轨迹与激光点云数据对应关系，构建基于图像与激光对应的优化方程。

在一些优选的实施例中，所述图像特征轨迹与激光点云数据对应关系为：

对于特征轨迹对应场景点的三维坐标初值的点

本发明的另一方面，提出了一种基于街景图像与车载激光融合的城市场景构图系统，该城市场景构图系统包括以下模块：

参数标定模块，配置为通过街景相机、激光雷达以及全球导航卫星系统的外参数 预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景 相机的内参数初始值；所述街景相机，其内参数包括焦距

图像特征轨迹获取模块，配置为提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；

点云特征提取与匹配模块，配置为对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；

图像特征优化模块，配置为对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；

点云特征优化模块，配置为基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；

图像与点云对应优化模块，配置为采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；

全局优化模块，配置为将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转所述图像特征优化模块；

迭代模块，配置为迭代通过所述图像特征优化模块、点云特征优化模块、图像与点云对应优化模块以及全局优化模块进行待优化参数求解，直至达到预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。

本发明的有益效果：

（1）本发明基于街景图像与车载激光融合的城市场景构图方法，针对现有方法大多分别基于街景图像或车载激光雷达点云进行城市场景三维构图，但在效率、鲁棒性、精度等方面存在局限性的问题，提出了一种融合街景图像与车载激光的城市场景构图方法，结合了街景图像信息丰富、空间连续与激光点云精度高、噪声低的优势，将街景图像约束关系，激光点云约束关系以及图像与点云联合约束关系融入统一的全局优化框架之中，以实现大规模城市场景高效、鲁棒、精确的三维构图，可为融合多源数据进行场景建模的探索提供借鉴思路，有着重要的理论研究价值以及广阔的市场应用前景。

（2）本发明基于街景图像与车载激光融合的城市场景构图方法，由于在每次迭代优化后传感器外参数会发生改变，因此，每次迭代优化后在保持图像特征匹配关系不变的前提下，根据调整后的传感器外参数重新获取图像特征与激光数据对应关系，再进行迭代优化，迭代优化过程共进行4次，从而兼顾了场景三维构图的精度和效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于街景图像与车载激光融合的城市场景构图方法的流程示意图；

图2是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的直角坐标系转换球坐标系示意图；

图3是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征提取结果；

图4是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云平面特征提取结果；

图5是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云分割与聚类结果；

图6是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征匹配示意图；

图7是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云平面特征匹配示意图；

图8是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点投影与三角化示意图；

图9是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的图像特征轨迹与激光数据对应关系示意图；

图10是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云投影与街景图像场景重合效果示例；

图11（a）-图11（c）是本发明基于街景图像与车载激光融合的城市场景构图方法一 种实施例的

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于街景图像与车载激光融合的城市场景构图方法，实现了面向大规模城市场景的，基于多源数据融合的三维地图构建，其输入为由街景相机拍摄的街景图像，由车载激光雷达获取的激光点云，由全球导航卫星系统（GNSS，Global NavigationSatellite System）以及传感器（GNSS、街景相机、激光雷达）外参数预先标定获取的街景相机和激光雷达外参初值以及街景相机内参数预先标定获取的内参初值；输出为全局优化后的相机内外参数，激光雷达外参数，以及对应的图像点云和激光点云。整体方法分为三部分：第一部分是建立街景图像约束关系，通过图像特征提取与匹配，特征轨迹连接与三角测量，建立基于图像特征的优化方程；第二部分是建立激光点云约束关系，通过激光点云分割与聚类，点云特征提取与匹配，建立基于点云特征的优化方程；第三部分是建立图像与点云联合约束关系，通过激光点云投影与三角化，图像特征与激光数据对应，建立基于图像与激光对应的优化方程。最后，将上述三部分优化方程融入统一的全局优化框架之中，对待优化参数进行求解，进而实现城市场景的三维构图。

本发明的一种基于街景图像与车载激光融合的城市场景构图方法，该城市场景构图方法包括：

步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街 景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数 初始值；所述街景相机，其内参数包括焦距

步骤S20，提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；

步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；

基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；

采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；

步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；

步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。

为了更清晰地对本发明基于街景图像与车载激光融合的城市场景构图方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的基于街景图像与车载激光融合的城市场景构图方法，包括步骤S10-步骤S50，各步骤详细描述如下：

步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街 景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数 初始值。所述街景相机，其内参数包括焦距

对于街景相机，将世界坐标系下点

将点

对于激光雷达，将世界坐标系下点

通过上述标定过程，获得街景相机和激光雷达的外参数初始值以及街景相机的内参数初始值。

步骤S20，提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹。

首先对采集的各幅街景图像提取尺度不变特征变换（SIFT，Scale InvariantFeature Transform）特征，然后根据相机内外参数初值获取图像候选匹配对并进行SIFT特征匹配，得到街景图像匹配结果。

通过并查集法将所述待构图场景图像的特征匹配结果中的两两图像对之间特征匹配关系连接为跨多幅视图的特征轨迹。

获得待构图场景图像的特征轨迹之后还设置有特征轨迹滤除步骤，其方法为：

将基于随机抽样一致性的三角测量法获取的处于设定阈值范围内的数据子集划分为内值；

将内值可见图像数量小于3幅或者场景点与各内值可见相机光心连线夹角最大值小于2°的特征轨迹滤除，可保证特征轨迹三角测量结果的可靠性。

此处的设定阈值为4像素，即[0,4]范围内的数据为内值，（4,∞]范围内的数据为外值。

对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征。

激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：

步骤S21，如图2所示，为本发明基于街景图像与车载激光融合的城市场景构图方 法一种实施例的直角坐标系转换球坐标系示意图，分别将所述激光点云中各站激光点云由 直角坐标系

步骤S22，将转换后的激光点云投影至

步骤S23，根据激光点云在

步骤S24，采用广度优先搜索法对所述非地面点按照

步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在

步骤S25之前还设有离散激光点过滤步骤，其方法为：

分别获取聚类后各类中激光点的数量，并将激光点数量小于30个的类剔除。

根据距离信息计算每个点在

如图5所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云分割与聚类结果，左上图为原始激光点云，右上图为地面激光点云，左下图为非地面激光点云，右下图为非地面点云聚类结果。

分别获取聚类后各类中激光点的数量，并将激光点数量小于30个的类剔除，通过这个方法可以过滤掉激光点云中的离散激光点。

步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程：

步骤S311，根据所述街景相机的内参数初始值和外参数初始值，采用基于随机抽样一致性的三角测量法计算各特征轨迹对应场景点的三维坐标初值。

根据相机的内外参数初值，采用基于随机抽样一致性（RANSAC，RANdom SAmpleConsensus）的三角测量法计算各特征轨迹对应场景点的三维坐标初值。需要注意的是，在RANSAC的过程中，随机抽样的迭代次数为100次，反投影误差的外值阈值设置为4像素，即（4,∞]范围内的数据为外值。

步骤S312，利用所述街景相机的内参数初始值和外参数初始值将所述各特征轨迹对应场景点的三维坐标初值进行重投影。

步骤S313，以重投影点与对应的图像SIFT特征点的像素距离为优化目标，以特征轨迹对应的场景点三维坐标以及各幅街景图像对应的街景相机的内参数和外参数为待优化参数，构建基于图像特征的优化方程。

基于图像特征的优化中的代价函数

其中，

对于任一对特征轨迹与图像，将其之间的重投影之前的原像素点

其中，

基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程：

步骤S321，基于所述激光雷达的外参数初始值，将所述平面特征和边缘特征转换为世界坐标系，并通过KNN法分别获取各站激光点云位于世界坐标系下的最近的设定第一数量的激光雷达站点，进行各站激光点云的边缘特征匹配与平面特征匹配；

在获取各站激光点云的特征后，根据激光雷达外参初值将各站点云特征变换至世界坐标系下。对于每站激光点云，通过K最近邻（KNN，K Nearest Neighbor）法搜索其位于世界坐标系下的10站最近的激光点云，进而进行点云边缘与平面特征匹配。

步骤S322，对于边缘特征匹配，以激光点

如图6所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征匹配示意图，边缘特征匹配方法为：

对于当前激光站对应的边缘点子集

如图7所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云平面特征匹配示意图，平面特征匹配方法为：

对于当前激光站对应的平面点子集

注意，上述过程中，需保证点

基于点云特征的优化中的代价函数

其中，

对于任意两个激光站，其之间的激光点云特征匹配误差项如式（7）和式（8）所示：

其中，

采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程：

步骤S331，基于所述街景相机与激光雷达的外参数初始值，通过KNN法分别获取与各街景相机光心最近的设定第二数量的激光雷达站点。本发明一个实施例中，搜索距各相机光心最近的3站激光雷达。

步骤S332，分别将每一个街景相机对应的所述设定第二数量的激光雷达站点的激光点云投影至街景相机采集的待构图场景图像上，获得二维投影点集。

投影过程需要用到涉及的街景图像的相机内外参数初始值以及激光雷达的外参数初始值。另外，在对激光点云进行投影时，只对位于相机前面且在成像区域内的点进行投影。

步骤S333，通过二维三角化法分别基于所述二维投影点集构建位于对应的街景相机成像平面上的平面三角形集合。

对于每站激光点云在街景图像上的二维投影点集，采用二维三角化算法，构建位于成像平面上的平面三角形集合。如图8所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点投影与三角化示意图，其中点表示激光点在成像平面上的投影点，线表示平面三角形的边。激光点云投影与三角化将会用于获取图像特征与激光数据的对应关系。另外，为保证获取的对应关系的可靠性，只保留面积小于25像素平方，最小内角大于15°的平面三角形。

步骤S334，基于所述平面三角形集合，结合图像特征轨迹与激光点云数据对应关系，构建基于图像与激光对应的优化方程。

如图9所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的图像特征轨迹与激光数据对应关系示意图，图像特征轨迹与激光点云数据对应关系为：

对于特征轨迹对应场景点的三维坐标初值的点

将最小化空间距离

基于图像与激光对应的优化中的代价函数

其中，

对于任一对图像与激光站的激光点云，其之间的图像与激光对应误差项如式（10）所示：

其中，

步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30。

步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。

将上述三类优化方程联合到一起，构建一个全局目标函数，采用Ceres Solver工具包实现待优化参数的全局统一优化以及街景相机的内外参与激光雷达的外参估计，进而实现融合街景图像与车载激光的城市场景构图。需要注意的是，由于图像特征匹配关系不依赖于街景相机外参数，而点云特征匹配关系，图像特征与激光数据对应关系均依赖于街景相机（激光雷达）外参数，而在每次迭代优化后，传感器外参数会发生改变。因此，本发明中每次迭代优化后在保持图像特征匹配关系不变的前提下根据调整后的传感器外参数重新获取图像特征与激光数据对应关系，再次进行优化。上述过程迭代进行，为兼顾精度与效率，本发明中共进行4次迭代。

为定性验证本发明方法的有效性，在采集的街景图像中随机选取若干幅，利用街景相机与激光雷达外参初值，采用KNN算法获取距各幅选取相机最近的10站激光雷达，然后分别利用优化前后的街景相机内外参数，激光雷达外参数将激光点云投影至相应的街景相机成像平面上，如图10所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云投影与街景图像场景重合效果示例，其中第一行和第三行的图为利用优化前参数的激光点云投影结果，第二行和第四行的图为利用优化后参数的激光点云投影结果。

本发明采用F-Measure指标评价优化前后激光点云与图像点云的重合度以定量评 价本发明提出的融合街景图像与车载激光的城市场景构图方法的精度。具体来说，首先对 优化前后的图像与激光点云分别进行基于体素的降采样，体素尺寸

对于

对于

在此基础上，通过

由图11（a）至图11（c）可知，优化后

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的基于街景图像与车载激光融合的城市场景构图系统，该城市场景构图系统包括以下模块：

参数标定模块，配置为通过街景相机、激光雷达以及全球导航卫星系统的外参数 预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景 相机的内参数初始值；所述街景相机，其内参数包括焦距

图像特征轨迹获取模块，配置为提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；

点云特征提取与匹配模块，配置为对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；

图像特征优化模块，配置为对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；

点云特征优化模块，配置为基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；

图像与点云对应优化模块，配置为采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；

全局优化模块，配置为将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转所述图像特征优化模块；

迭代模块，配置为迭代通过所述图像特征优化模块、点云特征优化模块、图像与点云对应优化模块以及全局优化模块进行待优化参数求解，直至达到预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于街景图像与车载激光融合的城市场景构图系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于街景图像与车载激光融合的城市场景构图方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于街景图像与车载激光融合的城市场景构图方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。