一种基于阴影和纹理特征的航空影像建筑物损毁检测方法

摘要

本发明公开了一种基于阴影和纹理特征的航空影像建筑物损毁检测方法，首先利用灾前建筑物矢量数据和高程数据和太阳高度角估算出建筑物在影像上的理论阴影区域，再在阴影理论区域内利用约束的颜色不变性对实际阴影检测，获得建筑物的实际阴影区域，然后根据实际阴影区域与理论阴影区域的面积比例关系获得建筑物损毁等级，分为完全损毁、一般损毁和疑似完好，最后对于疑似完好的建筑物，利用视觉词袋模型对其顶面进行检测，进一步判定建筑物是否损毁。本发明融合建筑物阴影信息（高度）和顶面信息（纹理）特征情况进行了检测，回避了传统多数据融合中的配准困难，同时也提高了建筑物损毁检测的准确性。

说明书

技术领域

本发明属于遥感影像应用技术领域，特别涉及一种融合建筑物阴影和纹理特征的 航空影像中建筑物损毁检测方法。

背景技术

自然灾害长久以来使人类的生命和财产遭受巨大损失，是人类生存和发展的巨大 障碍。遥感技术具有重访周期短，探测范围大、数据综合性高等特点，为灾害监测与评估提 供了一种有利的手段。随着各种监测手段和高新技术的发展，传统的灾害检测与评估逐步 由定性统计评估向定量精细评估的方向发展。建筑物作为人们生产生活的核心要素，自然 灾害发生后对其损毁信息的检测和提取的具有重要的意义，它可为灾害应急响应与灾后恢 复重建提供重要决策依据。鉴于建筑物损毁检测的复杂性，不仅仅要判定建筑物高程和面 积等信息的变化，还要判定建筑物顶面纹理损毁信息，因此如何对建筑物进行全方位的高 精度定量损毁评估是目前研究的热点。

通常自然灾害发生后建筑物的倒损形式包括结构整体倒塌、整体沉降、部分倒塌、 下部倒塌、中间层倒塌、墙体裂而不倒等。显而易见，对于建筑物整体沉降，下部倒塌等情 况，倒损检测不仅需要二维信息的提取与分析，建筑物高度信息的检测也至关重要。目前利 用遥感进行建筑物倒损检测的典型方法包括以下几种：1)利用单张灾后影像的建筑物倒损 检测方法，通过对遥感影像解译分类，提取建筑物倒损信息，但该方法难以提取建筑物高度 变化信息，即使能利用阴影等方式获得部分建筑物高度，但不具有普适性。2)利用两/多时 相遥感影像的建筑物倒损检测方法，包括直接比较法、分析后比较法及统一模型法等。直接 比较法即对不同数据源进行直接比较，对象主要包括像素，纹理特征，边缘特征以及各种复 杂的变换后特征，如植被指数、主成分变换、独立成分变换、典型相关变化等；分析后比较法 即对不同数据源信息提取后比较，对象包括类别、目标对象等；统一模型法即将不同数据源 纳入统一的模型进行变化检测，将变化检测的方法和过程作为一个整体，采用统一的平差 模型进行迭代求解。以上所述利用高分遥感影像的变化检测方法都取得了不错的效果，但 是由于这些方法主要是基于二维数据的变化检测，难以检测建筑物高度变化信息，对检测 那些部分倒塌、整体沉降、下部倒塌或中间层倒塌等高度发生变化的建筑物具有先天缺陷。 3)利用不同时相LIDAR(LightDetectionandRanging，激光雷达)数据或立体像对的建筑 物倒损检测，LIDAR数据及立体像对都包含地物的三维信息，通过DSM(DigitalSurface Model，数字表面模型)的提取与比较分析可以很好检测建筑物高度的变化，但是基于LIDAR 数据的获取方式及发展状况，灾害发生地区通常很难具备多时相LIDAR数据，立体像对也存 在类似问题，即使单时相立体像对可以检测建筑物倒损情况，但是存在立体像对幅面较小， 而且需要专业的摄影测量处理软件，获取DSM及建筑物三维需要复杂的工作等问题。因此需 要迫切寻找一种数据易获取、检测效率高、检测结果相对精确且顾及到建筑物高度和纹理 信息的损毁检测方法。

发明内容

为了解决上述技术问题，本发明提出了一种融合建筑物阴影和纹理特征的航空影 像中建筑物损毁检测方法，该方法融合建筑物阴影信息(高度)和顶面信息(纹理)特征情况 进行了检测，回避了传统多数据融合中的配准困难，同时也提高了建筑物损毁检测的准确 性。

本发明所采用的技术方案是：一种基于阴影和纹理特征的航空影像建筑物损毁检 测方法，其特征在于，包括以下步骤：

步骤1：利用灾前建筑物矢量叠加到航空影像上，利用建筑物的矢量、高程和太阳 高度角计算建筑物理论阴影区域；

步骤2：在步骤1中得到的建筑物理论阴影区域内，利用约束颜色不变量检测得到 建筑物实际阴影区域；

步骤3：根据步骤1和步骤2中的建筑物实际阴影面积和建筑物理论阴影面积的比 值判定三种建筑物损毁类型：完全损毁、一般损毁和疑似完好；

步骤4：针对疑似完好的建筑物进一步进行检测，即检测建筑物顶面；

步骤5：对待检测的建筑物顶面进行超像素分割，对分割区域进行特征点检测，然 后利用k-means算法聚类，最后获取视觉词典直方图，代入步骤4中，进行SVM分类，判定此区 域为损毁区域还是非损毁区域；统计建筑物顶面损毁区域面积和整个建筑物顶面面积的比 值，根据比值判定建筑物顶面是否损毁；

步骤6：根据步骤5的判定，根据建筑物顶面是否损毁最终判定疑似完好建筑物是 一般损毁还是未损毁。

作为优选，步骤1中所述计算建筑物理论阴影区域，首先设灾前建筑物的高度为H， 太阳高度角为α，阴影长度为L，阴影长度求取公式为：

L＝H×ctgα

设X0Y直角坐标系下，理论阴影区域为凸多边形，顶点坐标分别为(x₁,y₁),(x₂, y₂),...(x_i,y_i)...,(x_n,y_n)，利用下面公式求出建筑物的理论阴影区域S₀：

$S_0=\frac{1}{2}\left(\right(x_1{y}_2-x_2{y}_1)+(x_2{y}_3-x_3{y}_2)+(x_3{y}_4-x_4{y}_3)+...+(x_{n-1}{y}_n-x_n{y}_{n-1})+(x_n{y}_1-x_1{y}_n\left)\right).$

作为优选，步骤2中所述利用约束颜色不变量检测得到建筑物实际阴影区域，检测 公式为：

$\left(\begin{array}{c}SC(i,j)=\frac{4}{\pi }\times \arctan \left(\frac{R(i,j)-\sqrt{R{(i,j)}^2+G{(i,j)}^2+B{(i,j)}^2}}{R(i,j)+\sqrt{R{(i,j)}^2+G{(i,j)}^2+B{(i,j)}^2}}\right)\\ G(i,j)<max\left(R\right(i,j),B(i,j\left)\right)\end{array}\right);$

其中，i,j是影像的行列号，SC表示检测得到的建筑物实际阴影区域，R(i,j)、G(i, j)和B(i,j)分别代表RGB彩色空间的三个颜色通道。

作为优选，步骤3中，设建筑物实际阴影面积S₁和建筑物理论阴影面积S₀的比值为 R₀，当R大于T₁时，为疑似完好；当R₀小于T₁大于T₂时，为一般损毁；当R₀小于T₂时，为完全损 毁。

作为优选，步骤4中，首先选取样本的建筑物顶面进行超像素分割，手动分类得到 损毁区域和非损毁区域，在分割区域内进行特征提取，然后利用k-means聚类得到视觉词 典，在损毁区域和非损毁区域统计视觉词典的直方图，最后对视觉词典直方图利用SVM进行 训练得到损毁的样本。

作为优选，所述超像素分割，其具体实现过程包括以下子步骤：

步骤4.1：初始化聚类中心；

对于有N个像素的图像，如需要产生的超像素区域的数目为K，则每个超像素的面 积为N/K，每个种子点的距离近似为在图像内以该距离均匀分配聚类中心；

步骤4.2：移动聚类中心；

为了避免种子点处于图像边缘位置而对聚类造成干扰，种子点被移动到其3×3区 域内梯度值最小的位置；

步骤4.3：计算像素点(x₁,y₁)和(x₂,y₂)的相似度；

$d_c=\sqrt{{\left(1\right(x_1,y_1)-1(x_2,y_2\left)\right)}^2+{\left(a\right(x_1,y_1)-a(x_2,y_2\left)\right)}^2+{\left(b\right(x_1,y_1)-b(x_2,y_2\left)\right)}^2};$

$d_s=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2};$

$d\left(\right(x_1,y_1),(x_2,y_2\left)\right)=\sqrt{d_c^2\left(\right(x_1,y_1),(x_2,y_2\left)\right)+m^2\left(\frac{d_s^2\left(\right(x_1,y_1),(x_2,y_2\left)\right)}{S}\right)};$

式中，l_i、a_i、b_i为像素点i在CIELab空间中L、a、b通道的数值，(x₁、y₁)、(x₁、y₁)为 像素点坐标值，m为平衡参数；

步骤4.4：按最小相似度对图像的像素点进行聚类，不断迭代，直到新种子点和原 来的种子点之间的距离足够小时迭代终止；

步骤4.5：把面积小于100个像素的区域与其距离最近的区域合并，以保证区域的 连通性。

作为优选，所述在分割区域内进行特征提取，首先利用H、S和V对分割区域进行非 均匀量化，即将色调量H分为7个级别，饱和度S和亮度V各分为3个级别，然后将三个颜色分 量合成一个一维矢量：L＝9H+3S+V(L∈[0,71])；然后提取质心为中心30×30的区域用于计 算HOG特征，HOG的细胞大小为6×6，梯度方向抽取9个方向块，所以产生225个HOG的特征；最 后对两类不同的特征量进行归一化处理，使得所有分量在特征提取时具有相同的权重。

作为优选，所述利用k-means聚类得到视觉词典，假设特征提取对每个超像素分割 区域的特征向量为F＝[f₁,f₂,...,f_N]∈R^D×N，其中N表示每个区域的特征数量，每个特征包 含D维向量；则对特征向量F进行k-means聚类，生成一个K维向量的视觉词典W＝[w₁,w₂,..., w_K]∈R^D×K。

作为优选，所述在损毁区域和非损毁区域统计视觉词典的直方图，首先得到统计 向量N＝[n₁,n₂,n₃,..n_i,...,n_K]，n_i表示词典中每个词频率，然后利用了文本信息检索中的 tf-idf的加权方法来描述视觉词典中单词的权重；视觉词典中单词的权重向量为T＝[t₁, t₂,t₃,...,t_i,...,t_K]，t_i表示每词的权重，则权重t_i的表达式为：

$t_i=\frac{n_{id}}{n_d}log\frac{N}{n_i};$

其中n_id表示第i个视觉单词在分割区域中出现的频率，n_d表示所有视觉单词在分 割区域中出现的总频率，N表示分割区域的总数，n_i表示第i个视觉单词在所有分割区域中 出现过的次数；则损毁和非损毁区域的加权特征表达为：

BoWf_i＝n_i×t_i。

作为优选，所述对视觉词典直方图利用SVM进行训练得到损毁的样本，是利用 BoWf_i＝n_i×t_i的视觉词袋模型分别对建筑物顶面的损毁区域和非损毁区域训练SVM分类 器，得到损毁区域的分类器。

作为优选，步骤5的具体实现包括以下子步骤：

步骤5.1：利用超像素进行分割方法对建筑物顶面进行分割，得到不同的分割区域 R＝[R₁,R₂,R₃,...,R_n]；

步骤5.2：取出分割区域R_i，提取R_i区域的颜色特征和HOG特征，将特征归一化；

步骤5.3：统计分割区域R_i的视觉词典直方图，根据BoWf_i＝n_i×t_i得到特征表达 BoWf_i；

步骤5.4：将特征表达BoWf_i放入经过训练SVM分类器中，判断区域R_i是否为损毁区 域；

步骤5.5：将集合R中损毁的面积求和为S_damage，建筑物顶面面积为S_building，损毁比 值为当R_damage大于预设阈值表示建筑物顶面发生损毁，反正，表示未损毁。

本发明的有益效果是：

(1)虽然是单一的数据源，但是可以生成了两类数据信息的，即阴影代表了建筑物 的高程信息,纹理代表建筑物表面信息,达到了两类数据源检测建筑物损毁的效果，提高了 检测的精度。

(2)利用单一数据源进行建筑物损毁检测,规避了多数据源之间的配准和融合问 题，也节约了生产成本，更加符合实际生产的需要。

附图说明

图1是本发明实施例的流程图。

图2本发明实施例的建筑物阴影估算示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发 明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不 用于限定本发明。

本发明所提供建筑物阴影和纹理特征融合下的航空影像建筑物损毁检测方法是 首先利用灾前建筑物矢量数据和高程数据和太阳高度角估算出建筑物在影像上的理论阴 影区域，再在阴影理论区域内利用约束的颜色不变性对实际阴影检测，获得建筑物的实际 阴影区域，然后根据实际阴影区域与理论阴影区域的面积比例关系获得建筑物损毁等级， 分为完全损毁、一般损毁和疑似完好，最后对于疑似完好的建筑物，利用视觉词袋模型对其 顶面进行检测，进一步判定建筑物是否损毁。

以下结合附图和实施例详细说明本发明技术方案，流程图如图1所示，实施例的技 术方案流程包括以下步骤：

步骤1：利用灾前建筑物矢量叠加到航空影像上，利用建筑物的矢量、高程和太阳 高度角计算建筑物理论阴影区域；

如图2所示，设灾前建筑物的高度为H，太阳高度角为α，阴影长度为L，阴影长度求 取公式为：

L＝H×ctgα(1)

设X0Y直角坐标系下，理论阴影区域为凸多边形，顶点坐标分别为(x₁,y₁),(x₂, y₂),...(x_i,y_i)...,(x_n,y_n)，利用下面公式求出建筑物的理论阴影区域S₀：

$S_0=\frac{1}{2}\left(\left(x_1{y}_2-x_2{y}_1\right)+\left(x_2{y}_3-x_3{y}_2\right)+\left(x_3{y}_4-x_4{y}_3\right)+...+\left(x_{n-1}{y}_n-x_n{y}_{n-1}\right)+\left(x_n{y}_1-x_1{y}_n\right)\right)---\left(2\right).$

步骤2：在步骤1的理论阴影区域内，利用利用约束颜色不变量检测实际的建筑物 阴影区域；

实施例中，颜色不变量是一种颜色集合模型，不受视角、物体表面光滑程度、光照 方向、光照密度和亮度的影响。目前许多研究者利用颜色不变量替代NDVI进行植被的检测 和提取，同时也把它用于阴影检测。本发明利用公式(3)在步骤1中的理论阴影区域内对实 际阴影进行检测，获得实际阴影的区域为S₁公式(3)中的条件二主要目的是为了在阴影检 测时候剔除绿色植被的错误检测。

$\left(\begin{array}{c}SC(i,j)=\frac{4}{\pi }\times \arctan \left(\frac{R(i,j)-\sqrt{R{(i,j)}^2+G{(i,j)}^2+B{(i,j)}^2}}{R(i,j)+\sqrt{R{(i,j)}^2+G{(i,j)}^2+B{(i,j)}^2}}\right)\\ G(i,j)<max\left(R\right(i,j),B(i,j\left)\right)\end{array}\right)---\left(3\right);$

其中，i,j是影像的行列号，SC检测得到的建筑物实际阴影区域，R(i,j)、G(i,j)和 B(i,j)分别代表RGB彩色空间的三个颜色通道。

步骤3：根据步骤1和步骤2中的建筑物实际阴影面积S₁和建筑物理论阴影面积S₀的 比值判定三种建筑物损毁类型：完全损毁、一般损毁和疑似完好；

具体实施时，设实际阴影面积S₁和理论阴影面积S₀的比值为R₀，当R大于T₁时，为疑 似完好；当R₀小于T₁大于T₂时，为一般损毁；当R₀小于T₂时，为完全损毁。

步骤4：针对疑似损毁的情况，进一步判定建筑物的顶面损毁情况。主要方法是利 用视觉词袋模型进行判定建筑物顶面损毁情况。选取一定数量损毁的建筑物顶面作为样 本，首先利用SLIC(simplelineariterativeclustering)超像素进行分割，手动选取超 像素中的损毁区域和非损毁区域，并进行特征提取，再利用k-means对特征进行聚类，得到 视觉词袋的词典，然后将超像素中的损毁区域和非损毁区域统计视觉词典的直方图，最后 利用SVM对视觉词典的直方图正负样本进行训练，正样本为损毁区域，负样本为非损毁区 域。

具体流程如下：

(1)SLIC(simplelineariterativeclustering)超像素进行分割。SLIC是一种 基于k-means思想的超像素分割算法，具有使用简单、处理速度快和产生的超像素最规整的 特点，所以本发明采用SLIC算法进行超像素分割，又由于当前建筑屋顶面多为彩色，因此本 发明采用的SLIC利用像素的颜色相似度和图像的平面空间信息对像素进行聚类。具体算法 描述如下：

a)初始化聚类中心：对于有N个像素的图像，如需要产生的超像素区域的数目为K, 则每个超像素的面积为N/K，每个种子点的距离近似为在图像内以该距离均匀 分配聚类中心。

b)移动聚类中心:为了避免种子点处于图像边缘位置而对聚类造成干扰，种子点 被移动到其3×3区域内梯度值最小的位置。

c)计算像素点(x₁,y₁)和(x₂,y₂)的相似度：

$d_c=\sqrt{{\left(1\right(x_1,y_1)-1(x_2,y_2\left)\right)}^2+{\left(a\right(x_1,y_1)-a(x_2,y_2\left)\right)}^2+{\left(b\right(x_1,y_1)-b(x_2,y_2\left)\right)}^2}---\left(4\right);$

$d_s=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(5\right);$

$d\left(\right(x_1,y_1),(x_2,y_2\left)\right)=\sqrt{d_c^2\left(\right(x_1,y_1),(x_2,y_2\left)\right)+m^2\left(\frac{d_s^2\left(\right(x_1,y_1),(x_2,y_2\left)\right)}{S}\right)}---\left(6\right);$

式中，l_i、a_i、b_i为像素点i在CIELab空间中L、a、b通道的数值，x、y为像素点坐标值 坐标值，m为平衡参数。

d)按最小相似度对图像的像素点进行聚类，不断迭代，直到新种子点和原来的种 子点之间的距离足够小时迭代终止。

e)把面积小于100个像素的区域与其距离最近的区域合并，以保证区域的连通性。

为了提高算法的运行速度，对每个种子点聚类时，只在种子点为中心的2S×2S区 域内搜索像素点。

(2)特征描述。根据建筑物顶面损毁特征，本发明利用颜色特征和HOG纹理特征来 描述对分割区域进行特征描述。由于HSV颜色空间较RGB颜色空间更加符合人眼视觉，对亮 度更加敏感，有利于颜色特征的区分，所以本发明利用H、S和V对分割区域进行非均匀量化， 即将色调量H分为7个级别，饱和度S和亮度V各分为3个级别，然后将三个颜色分量合成一个 一维矢量：L＝9H+3S+V(L∈[0,71])；由于超像素分割区域在形态上有一定的差异，本发明 根据超像素区域的长轴长度以及质心位置来确定一个矩形区域，用于计算HOG的特征。根据 本发明实验统计，超像素区域长轴为30个像素，所以提取质心为中心30×30的区域用于计 算HOG特征，HOG的细胞大小为6×6，梯度方向抽取9个方向块，所以可以产生225个HOG的特 征。为了防止较小的特征分量在计算中容易被忽略，所以对两类不同的特征量进行归一化 处理，使得所有分量在特征描述时具有相同的权重。

(3)视觉词典生成。设上一步特征描述对每个超像素分割区域的特征向量为F＝ [f₁,f₂,...,f_N]∈R^D×N，其中N表示每个区域的特征数量，每个特征包含D维向量。对特征向量 F进行k-means聚类，生成一个K维向量的视觉词典W＝[w₁,w₂,...,w_K]∈R^D×K。

(4)基于视觉词典对图像的表达。在视觉词袋模型中，图像是由不同频率的视觉词 典组成，本发明对超像素分割区域进行视觉词典的直方图统计，得到统计向量N＝[n₁,n₂, n₃,..n_i,...,n_K]，n_i表示词典中每个词频率，由于不同的视觉单词对图像的表达作用不同， 直接使用最初的视觉词典对图像进行表达会对后续的识别造成不佳的效果。为了区分不同 的视觉单词对图像表达的贡献，本发明利用了文本信息检索中的tf-idf(词频--反转文件 频率)的加权方法来描述视觉词典中单词的权重。视觉词典中单词的权重向量为T＝[t₁,t_2,t₃,...,t_i,...,t_K]，t_i表示每词的权重，权重t_i的表达式为：

$t_i=\frac{n_{id}}{n_d}log\frac{N}{n_i}---\left(7\right);$

其中n_id表示第i个视觉单词在分割区域中出现的频率，n_d表示所有视觉单词在分 割区域中出现的总频率，N表示分割区域的总数，n_i表示第i个视觉单词在所有分割区域中 出现过的次数。那么损毁和非损毁区域的加权特征表达为：

BoWf_i＝n_i×t_i(8)；

(5)基于SVM的分类训练。利用(8)式的视觉词袋模型分别对建筑物顶面的损毁区 域和非损毁区域训练SVM分类器，得到损毁区域的分类器。

步骤5，利用步骤4中的视觉词袋模型判定将疑似的完好建筑物顶面。首先对建筑 物顶面进行超像素分割，再对分割区域提取特征点，然后对特征点利用步骤4中的视觉词典 进行直方图统计，最后利用SVM分类器判定分割区域是否为损毁区域，并利用损毁区域总和 与建筑物顶面面积比例关系判定建筑物顶面是否损毁。具体流程如下：

(1)利用SLIC的方法对建筑物顶面进行分割，得到不同的分割区域R＝[R₁,R₂, R₃,...,R_n]；

(2)取出某一个分割区域R_i，提取R_i区域的颜色特征和HOG特征，将特征归一化；

(3)统计分割区域R_i的视觉词典直方图，根据公式(8)得到特征表达BoWf_i；

(4)将特征表达BoWf_i放入经过训练SVM分类器中，判断区域R_i是否为损毁区域；

(5)将集合R中损毁的面积求和为S_damage，建筑物顶面面积为S_building，损毁比值为 当R_damage大于预设阈值表示建筑物顶面发生损毁，反正，表示未损毁。

步骤6：根据步骤5中建筑物顶面是否损毁来判定疑似完好建筑物是一般损毁，还 是未损毁。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本 发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权 利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发 明的请求保护范围应以所附权利要求为准。