一种利用楼宇外立面对建筑物进行分类的方法

摘要

本发明公开了一种利用楼宇外立面对建筑物进行分类的方法，包括从倾斜摄影重建的三维建筑模型中获取建筑物外立面纹理信息；对所述外立面纹理信息进行图像分割和特征提取；利用所述分割和特征提取后的外立面纹理信息，对所述建筑物功能进行分类和识别。使用无人机航拍斜视图像作为输入，包含了粗糙的遥感数据没有的建筑物外立面的纹理信息；可以从建筑物外立面的纹理信息对建筑的进行分类。

说明书

技术领域

本发明涉及遥感分类的技术领域，尤其涉及一种利用楼宇外立面对建筑物进行分类的方法。

背景技术

近年来，根据建筑物的用途对建筑物进行分类对于城市设计和管理很有用。这种信息可以提供与人口，资源和环境相关的问题的索引，例如人口分布，供电和交通系统设计。它们是城市规划，政策制定和灾害管理的基础。当前，统计数据主要通过手工从街道数据中收集，或者从费力且粗糙的遥感数据中粗略提取。利用遥感数据，一些土地利用的分类方法可以区分居民区，识别机场，公共设施，或则工业区，但无法识别单个建筑物的类别。另一方面，分类技术已经可以针对大尺度数据(例如卫星和航拍图像)对单个建筑物进行分类和检测。但是，大多数这些建筑物检测方法都使用顶视图信息，例如屋顶的外观和DSM(数字表面模型)的高度信息，不足以进行单独的建筑物类别识别。因此，如何有效地大规模获取这种信息(例如城市)仍然是一个问题。但是，航空影像的斜视图像可以极大地帮助我们识别建筑物的类别，例如，居民建筑物中通常存在阳台。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有对建筑物分类存在的问题，提出了本发明。

因此，本发明解决的技术问题是：统计建筑物数据利用人工和遥感数据进行，数据统计费力、粗略；在进行建筑物识别时，无法识别单个建筑物类别。

为解决上述技术问题，本发明提供如下技术方案：从倾斜摄影重建的三维建筑模型中获取建筑物外立面纹理信息；对所述外立面纹理信息进行图像分割和特征提取；利用所述分割和特征提取后的外立面纹理信息，对所述建筑物功能进行分类和识别。

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述获取建筑物外立面纹理信息包括，选取建筑物最具有代表性的外立面，通过投影变换将所述外立面的斜视图转化为正视图，利用纹理质量测量算法选择一个最佳代表立面纹理，并通过投影距离检查其可见性。

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述选取建筑物最具有代表性的外立面包括，利用道格拉斯普克算法，将所述三维建筑模型的边缘提取成规则多边形，然后将最长的两条边缘作为建筑立面所在的垂直面，针对每一个垂直面及其建筑边缘，设定具有四个角点的空间矩形，其中所述四个角点分别为(P1，P2，P3，P4)，从正射影像和数字表面模型中获取对象空间中四个点的地理参考3D坐标(X；Y；Z)，因此可以通过透视变换来计算它们对应的倾斜图像坐标，其公式表示为如下：

其中：s为倾斜图像坐标，P为四个角点坐标，将已选择的三维坐标点转换至二维平面上；利用纹理质量测量算法，从众多倾斜影像中选择一个最佳代表影像，包括利用三个不同的衡量因子及其权重来计算不同的倾斜影像品质，进而实现一个最佳代表立面及影像的选择，其公式如下所示：

Q(f)＝m

其中：Q(f)为影像f的最终品质，m

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述通过距离检查可见性包括，所述检查可见性即倾斜影像的可观察部分计算，通过三维空间射线投影，检查其和地表三维模型的碰撞点和建筑立面距离来影像是否被遮挡，针对每一个立面倾斜影像中的像素，对从照相机中心朝其发射光线，若该光线和数字表面模型的碰撞点在该建筑的空间三维立面附近，则该像素为选定的立面影像的有效像素，否则为特征提取的无效像素，即视此像素为不可见。

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述对外立面进行图像分割和特征提取包括，对所述最佳代表面的影像进行特征提取，并通过红、绿、蓝颜色通道计算所述最佳代表面影像的平均颜色和标准偏差，进行类哈尔特征，颜色特征和类哈尔特征组合的提取。

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述进行类哈尔特征的提取包括，矩形类哈尔特征定义为不同矩形内像素强度之和的差，对于所述外立面纹理信息，设计并在垂直和水平方向分别使用3种不同大小的三矩形图案哈尔状结构。

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述对特征进行分类包括，利用随机森林分类器对组合的特征进行分类。

作为本发明所述的利用楼宇外立面对建筑物进行分类的方法的一种优选方案，其中：所述获取建筑物外立面纹理信息还包括，利用无人机倾斜从建筑物的侧面进行航拍，获得建筑物外立面的航拍数据，并从重建的数字表面模型中获取建筑物的外立面图像。

本发明的有益效果：使用无人机航拍斜视图像作为输入，包含了粗糙的遥感数据没有的建筑物外立面的纹理信息；可以从建筑物外立面的纹理信息对建筑的进行分类。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的利用楼宇外立面对建筑物进行分类的方法的流程示意图；

图2为本发明第一个实施例所述的利用楼宇外立面对建筑物进行分类的方法的从多视图倾斜图像中提取立面纹理图；

图3为本发明第一个实施例所述的利用楼宇外立面对建筑物进行分类的方法的遮挡检测说明图；

图4为本发明第二个实施例所述的利用楼宇外立面对建筑物进行分类的方法的倾斜航空影像中立面影像的示例图；

图5为本发明第二个实施例所述的利用楼宇外立面对建筑物进行分类的方法的不同训练样本数量的建筑类别分类结果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～3，为本发明的第一个实施例，该实施例提供了一种利用楼宇外立面对建筑物进行分类的方法，包括：

S1：从倾斜摄影重建的三维建筑模型中获取建筑物外立面纹理信息。其中需要说明的是，

获取建筑物外立面纹理信息包括，利用无人机获取建筑物的外立面纹理图像包括，无人机倾斜从建筑物的侧面进行航拍，从现有建筑物的占地面积或细节级别2(LoD2，level-of-detail 2)建筑物模型中，获得建筑物外立面的纹理图像信息，参照图2为从多视图倾斜图像中提取的立面纹理，其中图(a)中显示了建筑物的3D垂直面，图片(b)中显示了多视角倾斜图像的可能投影；选择代表建筑物的外立面，通过单向性将外立面的斜视图转化为正视图，利用纹理质量测量算法选择一个最佳代表面并通过距离检查可见性。

进一步的是，利用道格拉斯普克(Douglas-Peuker)算法，将三维建筑模型的边缘提取成规则多边形，然后将最长的两条边缘作为建筑立面所在的垂直面。针对每一个垂直面及其建筑边缘，设定具有四个角点的空间矩形，其中四个角点分别为(P1，P2，P3，P4)，从正射影像和数字表面模型中获取对象空间中四个点的地理参考3D坐标(X；Y；Z)，因此可以通过透视变换来计算它们对应的倾斜图像坐标，其公式表示为如下：

其中：s为倾斜图像坐标，P为四个空格点坐标，将已选择的三维坐标点转换至二维平面上，参照图2中的图像(c)和(d)显示了原始的和校正后的立面纹理；

利用纹理质量测量算法从众多倾斜影像中选择一个最佳代表影像，包括利用三个不同的衡量因子及其权重来计算不同的倾斜影像品质，进而实现一个最佳代表立面及影像的选择，其公式如下所示：

Q(f)＝m

其中：Q(f)为影像f的最终品质，m

S2：对外立面纹理信息进行图像分割和特征提取。其中需要说明的是，

进行图像分割和特征提取包括，对最佳代表面的影像进行特征提取，并通过红、绿、蓝(R，G，B)颜色通道计算代表面影像的平均颜色和标准偏差，提取类哈尔(Haar)特征，颜色特征和哈尔特征组合，其中提取类哈尔特征包括，矩形类哈尔特征定义为不同矩形内像素强度之和的差，对于立面纹理，设计并在垂直和水平方向分别使用3种不同大小(共6个特征向量)的三矩形图案哈尔状结构(例如，黑白色黑)。

S3：利用分割和特征提取后的外立面纹理信息，对建筑物功能进行分类和识别。其中需要说明的是，

利用随机森林分类器对组合的特征进行分类。

实施例2

参照图4～5，为本发明的第二个实施例，当前统计数据主要通过手工从街道数据中收集，或者从费力或过于粗糙的遥感数据中粗略提取，而利用遥感数据，一方面土地利用分类方法可以从居民区自动识别机场，或者从公共设施自动识别工业区，但详细不识别单个建筑物的类别，另一方面可以从概述数据(例如卫星和航拍图像)对单个建筑物进行分类和检测，但是大多数建筑物检测方法都使用顶视图信息，例如屋顶的外观和DSM(数字表面模型)的高度信息，不足以进行单独的建筑物类别识别，本发明利用斜视图像可以帮助我们识别单个建筑物的类别；为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中选择新加坡国立大学(NUS)校园周围的建筑物进行测试，以科学论证的手段论证试验结果，以验证本方法所具有的真实效果；

选择306张航拍图像作为本实验的研究数据，其中包括5头LeicaRCD30机载拍摄的73张顶视图，64张正视图，47张后视图，62张左视图和60张右视图图像，当四个倾斜的相机以35度的倾斜角进行安装时，所得到的所有图像的大小为10336x 7788像素，将这些图像通过专业测试软件Pix4Dmapper进行校准并生成正射影像和DSM，其中正射影像和DSM的地面采样距离(GSD)约为7.8cm；参照图4在新加坡国立大学校园周围手动选择并绘制了106栋建筑物的边界，其中包括常规住宅、教学楼、办公室和，从这些建筑物的边界，裁剪，选择和校正262张立面图像生成前视图，以生成实验数据集，详细的统计信息和图像示例可分别参照图4和如下表1；

表1：不同类型建筑立面图像的统计。

图4中的里面影像从左到右分别为住宅(常规)教育、办公室和公寓的立面图像示例，为了捕捉立面特征，计算了R，G，B通道中的平均颜色和标准偏差，同时采用类似于Haar的特征进行纹理描述，设计在垂直和水平方向分别使用三种矩形Haar状结构，并具有3种不同的大小(总共6个特征)，并且将特征组合起来以描述立面纹理以对其进行识别；在使用随机森林分类器进行分类时，使用500个决策树进行训练，同时将用于分类的变量数设置为特征维度的平方根，在实验中为12，在训练样本数量不同的情况下，所有立面图像的整体分类精度和Kappa值(包括训练数据)参照图5。

由图5可知，总体分类的准确性和Kappa值都随着训练次数的增加而增加，在使用30％的数据作为训练样本时，分类精度仍可以达到0.6，并且由于实验数据有限；在更小的子数据集上进行训练时，类内变异性和类间相似性可能是主要挑，但是结果表明立面纹理可以为建筑物类别的分类提供有用的线索；本实施例仅提供了一个小样本，若通过更多样本、更复杂的特征提取器和分类器(例如神经网络)，基于外观图像的建筑物类别分类可以具有更高的准确性和更多实用性。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。