基于无人机航拍影像序列的三维建筑模型库系统构建方法

摘要

公开了一种基于无人机航拍影像序列的三维建筑模型库系统构建方法，包括：采用无人机对建筑正上方和前、后、左、右五个方位高重叠率拍摄，采集建筑物影像数据；基于建筑物影像数据，通过空中三角测量方法得到稀疏三维点云；将稀疏三维点云进行密集匹配得到稠密点云；以稠密点云为输入，基于Delaunay三角剖分算法得到建筑的三维网格模型并进行纹理映射，获得具有彩色纹理的建筑三维模型；将建筑三维模型进行人为修补并手动迁移，构建建筑模型数据库；运用基于图模型的关键词提取技术匹配对应的三维建筑模型。与经典SFM算法相比，本发明更适用于三维建筑模型数据库的构建，为大型物体的三维重建提供了全新手段，提高了建筑模型匹配成功率，扩大了匹配范围。

说明书

技术领域

本发明属于三维重建领域，具体涉及基于无人机航拍影像序列的三维建筑模型库系统构建方法。

背景技术

无人机遥感已经成为卫星遥感之外的一种重要遥感手段,如何由无人机获取的影像快速稳健地恢复场景的三维信息，已成为摄影测量和计算机视觉领域共同关注的热点问题。

2004年Jang等(Jang H S,Lee J C,Kim M S,et al.Construction of nationalcultural heritage management system using RC helicopter photographicsurveying system,The International Archives of the Photogrammetry,Re-moteSensing and Spatial Information Sciences,Vol XXXV,Part B5.Istanbul,2004:473-478.)首次使用多视几何软件PhotoModeler对无人机影像进行处理，并基于SFM(StructureFrom Motion，SFM)与SLAM(Simultaneous Localization and Mapping，SLM)软件包进行无人机影像序列处理，这种方法自动化程度较高，易于获取数据，但由于一般不引入控制点，或使用的已知数据较少，因此重建精度较低。2011年Agarwal(Sameer Agarwal,YasutakaFurukawa,Noah Snavely,Ian Simon,Brian Curless,Steven M.Seitz,RichardSzeliski.Building Rome in a day[J].Communications of the ACM,2011,54(10).)发表的基于Bundler的成果，是一种增量式的重建系统，在一对严格挑选的基准影像重建基础上，通过不断添加影像并进行光束法平差优化，来实现SFM重建。Kersten等将Bundler与稠密匹配重建软件PMVS(Patch based Multi-View Stereopsis，PMVS)结合，用于无人机获取的建筑文物影像重建,分析评估文物受损情况。对于此类增量式SFM算法，由于要进行多次的光束平差运算，影像越多，平差耗时越多且呈指数级增加。

在2013年，Haala等(Haala N,Cramer M,Rothermel M.Quality of 3D pointclouds from highly overlapping UAV imagery,The International Archives of thePhotogrammetry,Remote Sensing and Spatial Information Sciences,Vol XL,Part 1/W2.Rostock,2013:183-188)基于传统航测方法，引入机载差分GPS辅助无人机定向，在影像处理过程使用Bundler来改善空三解算初值，用于地形和地物重建，其重建结果的平面精度较高可达10cm，但处理过程需要一定的人机交互，自动化程度低。2019年，张慧莹等人(张慧莹,董春来,王继刚,孙思佳,王鸿远,王欢欢.基于Context Capture的无人机倾斜摄影三维建模实践与分析[J].测绘通报,2019(S1):266-269.)基于六旋翼多传感器无人机，多角度采集地面影像,并尝试用DP-modeler对三维模型进行精细化处理，优化模型效果，在一定程度上提高了模型精度，但对影像和设备要求较高。

由于应用背景和重建对象的差异，基于传统的计算机视觉技术对影像数据的兼容性高，但处理远景数据时重建的质量不佳且耗时多。基于传统的航空摄影测量方法，一方面处理过程的自动化程度低，需要人机交互；另一方面，要求影像分布规则，对设备和影像的要求高，在图像采集过程中由无人机拍摄的影像不适用于此方法。

发明内容

本发明提出了一种基于无人机拍摄影像序列的三维建筑模型库系统构建方法。旨在通过消费级无人机，基于空中三角测量和计算机视觉技术，进行低成本高效的远景建筑三维重建，并构建建筑模型数据库系统，实现高还原度三维模型的准确匹配输出。

根据本发明实施例的一方面，提供一种基于无人机航拍影像序列的三维建筑模型库系统构建方法，包括：采用无人机对建筑正上方和前、后、左、右共五个方位高重叠率拍摄，采集建筑物影像数据；基于采集的建筑物影像数据，通过空中三角测量方法得到稀疏三维点云；将稀疏三维点云进行密集匹配得到稠密点云；以稠密点云为输入，将三维坐标预处理转换到二维坐标系中，基于Delaunay三角剖分算法得到建筑的三维网格模型并进行纹理映射，获得具有彩色纹理的建筑三维模型。

在一些示例中，对建筑从五个方位拍摄过程中航向重叠率和旁向重叠率均不低于80％。

在一些示例中，稀疏三维点云重建方法为：通过尺度不变局部特征描述子提取图像特征，用K维空间二叉树模型计算两幅图像特征点之间的欧氏距离来进行特征点的匹配，并采用随机采样一致性算法进行误匹配剔除，得到误差小的同名像点；通过由特征匹配得到的同名像点来确定两张相片的空间相对位置姿态，使得同名光线对对相交，确定相邻相片之间的相对姿态；通过绝对定向操作将由相对定向得到的多组相对位置确定的相片固定在大地测量坐标下，并同时得到三维空间中的稀疏点云。

在一些示例中，基于共线方程的全局平差方法优化相对定向中图像的相对位姿变换。

在一些示例中，稠密点云重建方法为：用多视角立体集群算法对图像集进行聚簇，然后用多视角拼接算法通过匹配、膨胀、过滤，在局部光度一致性和全局可见性约束下完成稠密点云的重建。

在一些示例中，将所述建筑三维模型进行人为修补并手动迁移，基于经过修复和迁移的三维建筑模型数据，构建建筑模型数据库。

在一些示例中，利用基于图模型的关键词提取技术在建筑模型数据库中匹配建筑模型。

本发明的有益效果是：与经典增量式重建算法SFM相比，本发明重建三维点数量增加了43.1％，同时运行速度提高了7％以上，在改善重建效果的同时提高了处理效率；并且扩大了建筑模型匹配成功率和匹配范围。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1是基于无人机航拍影像序列的三维建筑模型库系统构建流程图。

图2是基于空中三角测量的稀疏点云重建流程图。

图3是共面约束示意图。

图4是绝对定向示意图。

图5是一建筑迁移前后对比图。

图6是TextRank算法流程图。

图7是VisualSFM方法和本发明方法效率对比表。

图8是VisualSFM方法和本发明方法重建稀疏点云对比图。

具体实施方式

针对传统的三维建筑模型库构建方法存在数据获取难，重建效果差，模型量少，搜索匹配难等问题，本发明提供一种将无人机航线规划、摄影测量、三维模型迁移技术以及基于图模型的关键词提取技术相结合的三维重建方法。图1示出基于无人机航拍影像序列的三维建筑模型库系统构建流程，其基本原理是可以通过五方位(建筑正上方和前、后、左、右共五个方位)高重叠率的航线拍摄完备图像数据，然后通过基于空中三角测量的摄影测量方法重建出三维建筑模型，并进行修补和迁移，以此构建高还原度三维建筑模型数据库，最后利用关键词匹配提取技术得到文本信息中，例如风格，方位等具有建筑特色信息，并在三维建筑数据库中精确匹配。

以下是对本发明的具体步骤解释：

1、基于五方位高重叠率航线的建筑影像采集

航线规划就是根据航摄任务的具体要求和相应的标准规范对划定的航区进行无人机飞行路线的设计，以保证航空摄影测量任务执行的安全和质量。

(1)基准线确定

为方便航线规划作业及对后期分区航线及航线摄影点的信息作统计，可采用手动设定航线基准线的方式，即手动在航区中划定一条直线连接航区对应两条边界，作为航线规划的基准线。

(2)航线规划

航线的规划需依据式(1)计算航线间距，然后以确定的基准线为起始航线，在航区内以生成平行线的方式创建初始航线。

式中:D

航线生成后，依据式(2)计算摄影基线长度，从而确定摄影点坐标，以完成摄影点的铺设，最终完成航线的规划。

式中:B

在基于此航线进行正射的基础上，本发明根据相机俯仰角(平行于机身轴线并指向飞行器前方的向量与地面的夹角)另外设置了前、后、左、右四方位的航线，以目标建筑为中心，获取建筑影像完整的二维信息。对建筑从五个方位拍摄过程中航向重叠率和旁向重叠率均不低于80％。

2、基于空中三角测量的建筑三维模型重建

首先，基于上一步得到的五方位高重叠率航摄影像，通过空中三角测量方法得到稀疏点云；其次，通过PMVS2方法将稀疏三维点云进行密集匹配得到稠密点云；最后，基于Delaunay三角剖分算法得到建筑的三维网格模型并进行纹理映射，得到高还原度三维模型。

(1)稀疏点云重建

摄影测量中基于大量相片，通过相对定向和绝对定向，得到相邻相片之间的相对姿态、确定相片尺度并固定在大地测量坐标系下、再同时得到所有连接点的3D坐标的解算过程被称为空中三角测量。空中三角测量的核心包括特征点提取与匹配、相对定向和绝对定向、光束法平差。通过这一步可以得到稀疏点云。具体重建流程如图2所示。

1)特征点提取与匹配：通过尺度不变局部特征描述子(Scale-Invariant FeatureTransform,SIFT)提取图像特征，用K维空间二叉树(KD-tree)模型计算两幅图像特征点之间的欧氏距离来进行特征点的匹配，并采用随机采样一致性算法(Random SampleConsensus，RANSAC)进行误匹配剔除。最终得到误差较小的同名像点(不同相片上对应同一物点的像点)。

2)相对定向：相对定向操作通过由上一步特征匹配得到的同名像点来确定两张相片的空间相对位置姿态，使得同名光线(由光心到同名像点的射线，两同名光线理论上交于物点)对对相交，用来确定相邻相片之间的相对姿态。

如图3所示，两相机中心连线S

等价于行列式(4)为零：

其中b

将式(5)和式(6)代入共面方程，可知当相机内参(光点与相框差xy，以及焦距f)及同名像点坐标(x

连续相对定向和单独相对定向均需要求解5个相对定向元素。根据平差，只要找到5对以上同名像点就可以完成去尺度相对定向，使得同名光线对对相交，恢复航摄过程中一对部分重叠相片的相对相似几何关系。

3)绝对定向：绝对定向操作将由相对定向得到的多组相对位置确定的相片固定在大地测量坐标下，并同时得到三维空间中的稀疏点云。

如图4所示，绝对定向需实现地面控制点A由像空间辅助坐标(u,v,w)到摄影测量地面坐标(X,Y,Z)的转化。此过程可由空间相似变换实现。

式(7)为空间相似变换方程，待求参数为7个绝对定向参数λ，

对该式进行平差解求，必要观测数为7，需要至少两个平高控制点和一个高程控制点来进行解求。

由相对定向可知这些地面控制点的坐标,再由这些控制点在不同相片上对应的像方坐标前交求得(u,v,w)，再进行平差求解即可得到7个绝对定向元素。至此，就可以通过上式将相对定向系统中的任意物方点都转换到地面摄影测量坐标系中。

4)光束法平差：基于共线方程的全局平差方法，可以优化相对定向中图像的相对位姿变换，减少控制点的使用，限制误差积累。

(2)稠密点云重建

用多视角立体集群算法(Cluster multi-view stereo,CMVS)对图像集进行聚簇，以减少重建过程的数据量，提高运算速度和重建精度，然后用多视角拼接算法(Patch-based multiview stereo,PMVS)通过匹配、膨胀、过滤，在局部光度一致性和全局可见性约束下完成稠密点云的重建。

(3)表面重建

以稠密点云为输入，将三维坐标预处理转换到二维坐标系中，间接的采用二维Delaunay剖分算法，构建以三角形为单位的三维网格模型。

(4)纹理贴图

根据建筑三维网格数据，进行纹理映射，获得具有彩色纹理的三维模型。

3、基于三维模型迁移的数据库构建

将上述模型进行人为修补并手动迁移。例如，在C4D中将楼层进行复制，衍生出系列建筑三维建筑模型，用以充实数据库，满足不同搜索需求，如图5。最后，基于经过修复和迁移的三维建筑模型数据，构建建筑模型数据库。

4、基于图模型的关键词提取技术的搜索引擎

可在Luence搜索引擎平台上，加入了基于TextRank算法的关键词提取技术。对于输入的文本信息，先进行关键词提取，再在建筑模型数据库中进行检索，最后匹配并返回对应的建筑模型。

TextRank算法的主要思想是将文本转化为图模型，并迭代计算出词的得分，排名靠前的词语可作为文本的关键词。具体流程如图6所示。通过该算法可以提取包括方位、风格、建筑规格等建筑特色信息。基于图模型的关键词提取技术的加入，在一定程度上提高了建筑模型的匹配成功率，扩大了匹配范围。

这里以华中师范大学南湖校区综合楼为例，首先使用飞控软件DJI GO 4进行建筑高度的测量，通过无人机搭载相机可知高度为50至55m之间。为了达到比较好的重建效果，提高数据质量，需要关注航高、照片重叠率、相机俯仰角度3个重要参数。

为避免因航高过低导致无人机失联或者航高过高致使目标建筑所占重建区域的比例变小，将无人机航高设定为建筑高度的2倍(2-2.5被之间都可以)，这里设置为100m。

要求照片重叠率为75％以上，这要求无人机的移动速度不能太快，通过测试设定飞行速度为5m/s，航向重叠率(同一航线上两相邻相片的重叠)为80％，旁向重叠率(相邻航线之间两相邻相片的重叠)为80％，拍摄间隔为1.5s，即相邻两幅影像的拍摄间隔为7.5m。

为使无人机可以精准拍摄到建筑前、后、左、右4个方位的细节，通过测试将相机俯仰角度(平行于机身轴线并指向飞行器前方的向量与地面的夹角)设为45°。

由于拍摄时间，拍摄天气都会对影像数据质量产生较大影响。因此，选择天气状况良好，光线充足且不会让建筑某一面产生较大阴影的下午五点来拍摄。

为全自动地在户外获取建筑影像，使用能按照规定航线飞行的无人机采集目标建筑五个方位的影像信息。其中，规划航线用到软件RockyCapture，提供了设置无人机航高、飞行速度、航线重叠率、旁向重叠率等参数的功能。无人机搭载相机镜头为FOV78.8°28mmf/2.2，分辨率为4 000像素×3 000像素，影像格式为jpg。最终，无人机搭载相机获取影像经过USB线传送到计算机，获取的俯视图和侧视图共384幅。

通过重建方法最终得到南湖综合楼的三维数据，并进行修补和迁移后放入数据库。

为了实现三维建筑模型资源的充分共享，方便建筑模型重建过程中对数据的评价、查询以及对新数据的录入，传承和传播各地建筑文化，本发明首次提出了基于无人机航拍影像序列的三维建筑模型库系统，将收集到的三维建筑图片信息，三维网格信息以及建筑历史信息进行综合描述记录，建立基于Vue框架的Web网页平台。

依照上述流程构建三维建筑模型数据库系统，实现了高效低成本的模型重建和精确的模型匹配。

为了测试重建方法的效率，针对华中师范大学南湖校区综合楼、文化馆、大平板水楼，分别统计了稀疏点云生成处理时间，并与基于增量SFM算法的VisualSFM重建系统进行了对比，结果如表7所示。

使用VisualSFM进行稀疏重建的效率较低，故应采用了16GB的运行内存来加速稀疏点云生成过程。

在稀疏点云生成环节，本发明方法的处理效率与基于SFM算法的VisualSFM系统相比有显著提高，点云生成时间由93.2min减小到18.4min。稀疏点云生成所耗时平均减少为原来的0.18倍，效率提高了5倍以上。此外，相较于VisualSFM+Meshlab重建系统，本发明方法的自动化程度更高，在一定程度上降低了人工成本。

为验证本发明方法的重建效果，将本发明方法与VisualSFM重建点云的工作进行对比。图8所示为以华中师范大学南湖综合楼为例，本发明与VisualSFM方法的重建效果对比。两种算法都基本恢复出了建筑的三维结构，但本发明方法共重建出235431个点，而VisualSFM重建点云数为135806个，本发明方法重建点比VisualSFM增加了73.3％，因此，本发明方法的重建完整性显著提高，点云更密集、均匀。