一种利用多光谱图像分类的典型地物参考图的制备方法

摘要

本发明公开了一种利用多光谱图像分类进行典型地物参考图制备的方法，从多光谱图像提取出感兴趣类作为地标，并制备出包含所述地标的参考图，以用于目标的间接定位识别，该方法具体包括：从多光谱图像中选择感兴趣类，提取其光谱-空间纹理特征，根据提取的光谱-空间纹理特征对多光谱图像进行分类；在分类基础上，提取完整的感兴趣类，并依据地标选取准则选择用作地标的感兴趣类；根据地标材质类型，利用红外辐射公式计算出地标在大气参数条件下的红外辐射量；将所述红外辐射量映射到灰度值，从而制备出包含地标形状及其灰度、背景灰度的参考图。本发明的方法具有较高的准确性和自动性，可提高基于参考图的匹配识别算法性能。

说明书

技术领域

本发明属于图像识别技术领域，具体涉及一种利用多光谱图像分 类的参考图制备方法，用于制备典型地物的参考图，适用于飞行器导 航制导中的目标识别。

背景技术

随着红外成像制导技术的发展，对目标背景辐射特性及其红外成 像特征的研究越来越受到国内外研究学者的重视，在飞行器导航制导 研究领域具有重要意义。在不同时相、不同气候、不同光照、远距离 成像条件下，成像传感器获取到的光学图像呈现不同的特性且复杂多 变，尤其在目标特征不够明显或者目标被遮挡的情况下，采用直接导 航定位识别方法往往不可靠。然而，在一定距离的大范围高分辨率图 像中，目标周边区域常常会出现某种具有显著特性的地物，称为典型 地物，如河流、桥梁、道路和建筑物群等，它们有一定大小、几何形 状、可见性和辐射特性，将这类地物作为地面标志（简称地标）用来 间接定位目标，有助于解决复杂环境下的目标识别问题。因此，对包 含地标的特征参考图制备显得尤为重要。

郭文普等人在论文“基于3D可视化GIS的前视参考图生成方法” 中提出一种用于景象匹配的可见光前视参考图制备方法，该方法的核 心步骤是利用规划航迹上的卫星图像立体像对，通过一种三维重建算 法生成数字高程模型数据，叠加正射图像，最后生成前视基准图像序 列，从而与前视实时图进行匹配。但该方法制备的是目标参考图，在 目标特性不显著时无法满足导航制导需求，且生成的目标参考图没有 考虑实际成像条件下对目标灰度的约束。中国专利文献 200910273308.2公开了一种方案，其利用数字表面模型模拟预设航路 上的飞行场景，确定航路上用作导航的平面地标，再制作地标多视点 多尺度光学特征图，计算出各地标的相关参数，制备带参数的参考图。 该方法制备的参考图没有考虑实际成像时地标的灰度赋值，且主要是 人工参与制备，缺少自动性。另外，刘婧等人在论文“前视红外景象 匹配制导基准图生成研究”（微计算机信息，第23卷第30期，2007） 中提出一种多特征前视基准图生成方法，其以可见光图像为数据源， 提取出目标和背景的几何视图并分别计算温度和辐射特征，经合成并 加入大气作用效果，最后根据不同视点得到前视红外景象匹配多视点 多尺度基准图。该方法在图像分割和多图提取基础上分别得到背景与 目标几何视图，对目标进行建模与Vega红外仿真生成基准图，其输 入参数多，计算量大且计算结果的准确性与图像分割、目标建模等方 法密切有关，自动性和实时性不足。

上述方法基本上以离线人工参与方式制备包含地标/目标的特征 参考图，这类方法具有一定程度上的主观性，效率较低，对地标/目 标赋予经验上的灰度值，并没有考虑实际成像条件下地标/目标的红 外辐射特性，因而制备出的参考图没有预测出地标/目标的红外特性， 对目标匹配识别算法产生直接影响。对于包含目标的参考图，没有考 虑到远距离成像时目标表观弱小时的导航定位问题，制备出的参考图 无法满足目标较远时的精确导航需求。

发明内容

本发明的目的在于提供一种利用多光谱图像分类的参考图制备 方法，其利用多种特征信息对多光谱图像进行快速分类，提取较完整 的感兴趣类，选择其中部分用作地标，并对地标的红外特性进行预测， 解决飞行器导航制导过程中目标特征不显著情况下，通过制备包含地 标的特征参考图以解决复杂环境下目标间接定位识别问题，为飞行器 前视导航时间接定位识别目标提供支持。

实现本发明目的的一种利用多光谱图像分类的参考图制备方法， 包括如下步骤：

（1）从多光谱图像中选择感兴趣类，提取其光谱-空间纹理特征， 并根据提取的光谱-空间纹理特征对所述多光谱图像进行分类；

（2）在分类基础上，利用地物形状，数学形态学方法和地物空 间关系优化感兴趣类，从中提取出较完整的感兴趣类，并运用地标选 取准则从中选择用作地标的感兴趣类；

（3）根据地物材质特性、辐射特性参数，根据红外辐射公式计 算上述地标的辐射量；

（4）将所述辐射量值进行灰度映射，并据此制备参考图。

作为本发明的改进，所述的光谱-空间纹理特征为将所述感兴趣 类的光谱特征和空间纹理特征分别抽取并归一化后拼接组成。

作为本发明的改进，提取感兴趣类的空间纹理特征中，首先在 多光谱图像上计算中心像元在每个图像数据立方体上的旋转不变 均衡局部二值模式值，根据该模式值与模式出现次数的映射关系， 获得所述模式出现次数的值，以其作为空间纹理特征。

作为本发明的改进，所述红外辐射公式如下：

L_d＝(L_direct+L_thermal)*τ_path+L_b

式中，L_d为在探测器表面成像时的辐射量，L_direct为物体反射太阳 辐射部分，L_thermal为物体自身辐射，L_b为大气传输的路径辐射，τ_path为 大气平均透过率。

作为本发明的改进，所述红外辐射量映射到灰度值具体是指将所 述最大辐射量和0分别映射为灰度值255和0，中间值进行线性映射， 从而归一化到[0,255]。

作为本发明的改进，所述制备的参考图为下视参考图，其具体为： 将灰度映射后的地标提取出来，叠加在原尺寸大小的背景图上，从而 制备成下视参考图。

作为本发明的改进，所述下视参考图经透视变换后可得到前视参 考图。

作为本发明的改进，在确定所述地标后，可计算目标与所述地标 在多光谱图像中的空间位置约束关系，以用于目标匹配。

作为本发明的改进，所述从多光谱图像中选择出感兴趣类并进行 分类前，还可对待处理的所述多光谱图像进行预处理，以得到适用于 特征提取的输入图像。

作为本发明的改进，作为可选的操作，还对多光谱图像进行预处 理；

作为本发明的改进，本发明中还沿飞行路径在视场范围内确定用 作平面地标的感兴趣类，计算目标与地标在多光谱图像中的空间位置 约束关系。

本发明通过快速分类和红外辐射量计算来制备包含地标红外特 性预测的参考图，对基于匹配识别的导航系统提供了重要的导航基准 数据，使得基于参考图的匹配识别性能更优。本发明方法具有高的准 确性，高效率和自动性，可以解决远距离成像条件下目标无法直接识 别的问题，为基于匹配参考图的前视目标识别提供支撑。

附图说明

图1为本发明实施例方法的总体流程图；

图2为本发明实施例的包含河流、道路、建筑物群的多光谱图 像；

图3为本发明实施例的感兴趣类提取富于判别的光谱-空间组合 特征示意图；

图4为本发明实施例的对河流、道路、建筑物群进行分类的结 果图；

图5为在图4基础上提取河流、道路、建筑物群选作地标的结 果图；

图6为本发明实施例的地标与目标的相对关系图；

图7为本发明实施例的红外辐射计算时太阳角示意图；

图8为本发明实施例的典型材质在不同观测时间时温度变化与 自身辐射量对比图；

图9为本发明实施例的进行红外辐射计算与灰度映射后的下视 参考图；

图10为本发明实施例的地标形殊点集与目标形心的空间约束关 系图；

图11为对图9进行透视变换后的多尺度多视点前视参考图。

具体实施方式

为使本发明的目的、技术方案和效果更加清楚明了，下面结合附 图和具体实施例对本发明作进一步详细描述。以下实施例仅是解释性 的，并不构成对本发明的限定，凡在不脱离本发明精神实质下的修改， 都属于本发明的保护范围。

在一定的成像距离，飞行高度和合适的飞行角度下，河流、道路、 建筑物群等地物的可见性是可以保证的，因而本发明是在这些地物可 见的情况下来考虑的。下面以图2所示的多光谱图像为例对本发明作 进一步详细的说明。

如图1所示，本实施例中参考图制备的具体流程如下：

（1）针对多光谱图像，选择其中的感兴趣类，提取感兴趣类的 光谱-空间纹理特征，并利用这些光谱-空间纹理特征进行分类。

（1.1）光谱-空间纹理特征提取。如图2（a）-（c）所示，在高 分辨率多光谱图像中，通过对场景中目标周边地物分析，选择航路上 局部感兴趣区域中具有一定显著性、可见性和对比度的地物作为感兴 趣类。对于选择出的感兴趣类，或是以感兴趣类中的一部分作为训练 样本，提取其光谱-空间纹理特征。具体是，

首先，在输入图像上，以中心像元滑动窗口方式计算中心像元在 每个图像数据立方体上的旋转不变均衡局部二值模式（LBP^riu2）值， 根据模式值到模式出现次数的映射关系，计算出该像元的旋转不变均 衡直方图特征（即空间纹理特征），重复这个过程为所有预定义的训 练样本计算出旋转不变均衡直方图特征。

然后，计算感兴趣类的光谱特征，并与其空间纹理特征分别归一 化，再拼接成综合特征向量，记为TS∈R^d。光谱特征的计算在 本领域具有多种成熟的方法，本实施例中采用各种方法均可实现。

对测试图像重复这样的计算过程，得到测试样本集，记为 TS∈R^d。其中l,d,u分别表示训练样本个数，特征维数与测试 样本个数。通常需要对高维的LBP^riu2特征进行约简，使得不同类别的 特征之间更加可分，记新的特征维数为d'。

图3给出了在一些典型信息类抽取到的光谱-空间特征示意图， 包括3个光谱特征和10个紧致的空间直方图特征构成，从中可以看 出引入空间特征的分类器将提高分类性能。

（1.2）分类。

本实施例中采用基于核的支持向量数据域（SVDD）进行分类，当 然也可以采用其他方法进行分类，例如一类支持向量机（OCSVM）分 类等。

首先，将步骤（1.1）中得到的感兴趣类的训练样本按比例5：1： 4随机划分为训练子集、交叉验证子集和测试子集，用来训练基于核 的支持向量数据域（SVDD）模型，对测试图像进行快速分类。其次， 由于一类分类只需提供感兴趣类样本，因此将基于训练子集和测试子 集进行交叉验证获得最优核参数（C,gamma），使用这些参数训练一个 最终的核SVDD模型。最后，利用核SVDD模型对图像的感兴趣区域进 行快速分类。核SVDD模型能准确地识别感兴趣类并拒绝异常类，可 在真实类别数据的基础上进行精度分析。

为了验证上述空间结构特征提取方法的有效性，本实施例同时提 取到数据样本（训练样本和测试样本）的基于灰度共生矩阵（GLCM） 的5种纹理特征（对比度、熵、角二阶矩、逆差矩和相关性）进行对 比。图4（a）-（c）分别是本实施例中特征提取方法在三个实验图 像上的分类结果。从图4可以看出，本实施例中特征提取方法在空间 分类中的有效性，尤其是在感兴趣类呈随机性分布时。

在进行特征提取和分类前，作为可选的步骤，可对待处理的多光 谱图像进行预处理以获得适用于特征提取的输入图像。例如，执行数 据位宽转换（16位到8位），数据归一化以及维数约简。

（2）地物提取。在分类基础上，基于地物形状信息、数学形态 学处理和空间关系等知识进行感兴趣类的优化，提取出较完整的感兴 趣类。

通过对场景中感兴趣类如河流、道路、建筑物群的分析，可知它 们具有不同的形状信息，如河流呈曲线形，道路呈直线状，建筑物群 近似矩形，它们有不同的长宽比、离心率；在空间几何关系上，两种 地物会同时出现，如建筑物群常与河流毗邻，机场周边常有道路出现。 因此，综合利用地物形状信息和空间关系知识提取出初始感兴趣类 （目标类），并运用数学形态学方法进行增强，获得较完整的最终感 兴趣类。图5（a）-（c）是从1156米×725米视场范围的多光谱图 像上提取到的感兴趣类河流、道路、建筑物群的结果。

（3）地标选择。根据感兴趣类的几何大小、形状、可视性、辐 射特性等准则，选取其中一个或多个感兴趣地物用作地标。

对提取到的感兴趣类的几何大小、形状、可视性和反射辐射特性 进行分析，对提取到的多个满足用户设定值的感兴趣地物进行筛选， 使用材质相对均匀和光学成像显著且熟知的一个或多个感兴趣地物 选做地标。本实例将上述提取到的河流、道路、建筑物群用作地标。 如图6（a）-（c）所示，分别为河流地标、道路、建筑物群地标与 目标的相对关系图，河流、道路、建筑物群地标形心与各自目标形心 之间的直线距离分别为236米，154米，3个建筑物群地标形心与目 标形心之间的直线距离分别为225米，220米和190米，图中还给出 了航线方向。

为了后续利用参考图进行匹配识别，这里可先计算地标与目标的 空间位置关系，地标与目标的空间位置关系包括地标形殊点、目标形 心坐标，以及地标与目标之间的相对位置，用目标的位置减去地标的 位置。并将地标与目标的空间位置关系信息写入与参考图绑定的参数 文件，以在匹配时直接调用。本实施例中参数文件为文本文件格式， 包括：

参考图分辨率：R米

飞行高度：h米

飞行进入角：alpha度

地标可视俯仰角：(beta1，beta2)，单位：度

地标出现的距离范围：(D_i1，D_i2)，单位：米

地标与目标位置偏差：(X_LT，Y_LT)

（4）地标红外辐射量计算。即通过材质映射，利用红外辐射公 式计算出地标在大气参数条件下的红外辐射量。

典型材质如水，土壤，沥青等的辐射特性主要受物体反射太阳辐 射、物体自身辐射和大气传输路径辐射的影响。物体表面辐射强度与 物体表面温度密切相关，其温度随太阳角、季节和高度的变化而变化。 在白天，物体表面的辐射主要来自太阳和大气等辐射；在夜晚，太阳 辐射减弱，物体自身辐射部分比较突出，物体表面温度也会随之降低。 图7给出了典型材质在不同观测时间时温度变化与自身辐射量对比 图。

为了获得实际成像条件下的物体辐射量，根据红外辐射机理、热 传导和辐射机制，利用红外辐射公式计算地物辐射量。

本实施例中确定的红外辐射计算公式如下：

L_d＝(L_direct+L_thermal)*τ_path+L_b

式中，L_d为在探测器表面成像时的辐射量，L_direct是物体反射太阳 辐射部分，等于ρ·E₀(CCF·τ_s+τ_d)，其中，CCF为云遮系数，天气晴朗时 取1，否则为0，E₀是太阳常数，τ_s,τ_d分别为太阳直射和散射辐射时 对应的大气透过率和散射率，其计算式为：

τ_s＝(1+0.034cos(2πn/365))·P^mcosθ

${\tau }_d=\frac{1}{2}\sinh \frac{1-P}{1-1.4\ln P}{\cos }^2\frac{\beta }{2}$

其中，

cosθ＝cosβsinh+sinβcoshcosγ，$\cos \gamma =\frac{\sinh \sin \phi -\sin \delta }{\cosh \cos \phi },$$\delta =23.45\sin (360\times \frac{284+n}{365})$

式中的h,θ，γ,δ，β，φ分别是太阳高度角、太阳入射角、太阳方位角、 太阳赤纬角，以及物体倾角和当地纬度，这些角度之间的关系如图8 所示。m,P分别为大气质量，大气透明度。大气质量可由下式计算（式 中h含义与上面相同）：

式中P，m分别为大气透明度和大气质量，二者相关。m在本实 施例中优选取2，根据日射观察资料可求出对应m值的大气透明度P。

L_thermal是物体自身辐射，其等于εσT⁴，ε,σ,T分别为物体发射率，史 蒂芬-玻尔兹曼常数和物体表面绝对温度（单位为K）。

L_b是大气传输的路径辐射，该因子的计算复杂度大，但影响较小。

τ_path是大气平均透过率，等于通过查询预定义数据表、插值计算和迭代积分可以 求出。

由于选作地标的物体材质较均匀，且地标相对于背景图像要小得 多。因此，在计算物体自身辐射量时，将物体视为等温体。也可以对 物体进行建模将其划分为多个网格节点并预测出每个节点的温度再 进行自身辐射量计算。

通过上述公式计算得到的辐射量是考虑了大气衰减后的所有辐 射与探测器光谱响应共同作用的结果。同时，是依据地物的材质特性 和辐射特性计算得到，因此该辐射量能够反映出实际成像效果。

（5）灰度映射，即将步骤（4）计算到的红外辐射量映射到灰度 值。

为了得到最终的红外参考图，应将各个红外辐射量进行灰度映射， 具体是：最大辐射量和最小辐射量分别映射为灰度值255和0，中间 的值进行线性映射，其结果都归一化到[0,255]。此外，根据得到的图 像灰度值和辐射量，还可以解出二者之间的映射关系。

（6）地标与目标空间关系计算。在多光谱图像中建立地标与待 识别目标的空间约束关系特征库。

本实施例中，如图9（a）-（c）所示，分别选取河流、道路、 建筑物群的形心，以及曲率最大点构建这些地标的形殊点集。图9（a） 中从左到右的3个河流地标形殊点分别为曲率最大点LM_1，1，LM_1，2和形 心LM_1，3，其坐标（Y,X）分别为（365,435），（295,480），（363,640）， 目标的形心坐标T₁为（422,412）。图9（b）中从左到右的3个道路地 标形殊点依次为曲率最大点LC_1，1，形心LC_1,2和曲率最大点LC_1，3，其坐 标（Y,X）分别为（312,182），（254,354），（316,546），目标的形心 坐标T₂为（103,386）。取3个河流地标形殊点的平均位置为LM，则 LM＝(LM_1,1+LM_1,2+LM_1,3)/3，其值为（341,518）。同理可得道路地标形殊 点的平均位置LC，其值为（294,361）。图9（c）中从左到右的3个 建筑物群地标的形心分别为LB_1，1，LB_1,2和LB_1，3，其坐标（Y,X）分别为 （455,442），(125,521)和(508,650)。

本实施例中，各地标与目标之间的空间几何约束关系如图10所 示，其中包括：⑴如图10（a1）-（a3）所示，河流地标形殊点与目 标形心之间的约束关系$\Delta {\mathrm{LM}}_1^i=\left[(Y_{T_1}-Y_{{\mathrm{LM}}_{1,i}})(X_{T_1}-X_{{\mathrm{LM}}_{1,i}})\right],$i＝1,2,3， 为第i个地标形殊点的坐标，为目标形心坐标；⑵ 如图10（b1）-（b3）所示，道路地标形殊点与目标形心之间的约束 关系$\Delta {\mathrm{LC}}_1^j=\left[(Y_{T_2}-Y_{{\mathrm{LC}}_{1,i}})(X_{T_2}-X_{{\mathrm{LC}}_{1,j}})\right],$j＝1,2,3，为第j个 地标形殊点的坐标，为目标形心坐标。通过之前建立的地标与 目标之间的相对位置关系以及在实时图中获得的地标位置值进行解 算，将获得目标在前视图中的空间位置，从而实现对目标的间接定位。 ⑶如图10（c1）-（c3）所示，建筑物群地标形殊点与目标形心之间 的约束关系$\Delta {\mathrm{LB}}_1^k=\left[(Y_{T_3}-Y_{{\mathrm{LB}}_{1,k}})(X_{T_3}-X_{{\mathrm{LB}}_{1,k}})\right],$k＝1,2,3为三个建筑物群 的顺序编号，为第k个地标形心的坐标。同理，可获得该目 标在前视图中的位置坐标。

本实施例中，与图9（a）对应的参考图绑定的参数文件中的参 数实际为：

参考图分辨率(米)：3

飞行高度(米)：4000

飞行进入角(度)：180

地标可视俯仰角(度)：0~40

地标出现的距离范围(米)：0~10000

地标与目标位置偏差(米)：59-228

（7）地标参考图制备。根据步骤（5）得到的灰度值，即可制备 出包含地标形状及灰度、背景灰度的红外参考图。

将灰度映射后的地标提取出来，叠加在原尺寸大小的背景图上， 制备出地标下视参考图，主要包括地标形状及灰度，以及背景灰度。 对背景灰度赋值可以类似于上述计算方式得到，或者基于实时图提取 出背景。根据用作地标的地物在白天夜间的辐射特性知识，可以制备 地标白天和夜间下视参考图。图9给出了经红外辐射计算与灰度映射 后的地标下视参考图。

这里背景使用了简单化处理，视为辐射量为0的简单物体。也可 以对背景类进行区域划分，通过上述步骤（1）-（2），（4）-（5）获 得背景各区域的红外辐射量。

利用下视参考图，还可以制备前视参考图。前视参考图可认为是 利用下视参考图模拟飞行器成像参数条件下变换后的参考图。其中飞 行器航迹参数包括：飞行高度，成像距离，方位角和俯仰角，其中俯 仰角可以通过飞行高度除以成像距离的比值求出。利用下视参考图和 上述航迹参数，即可得到前视参考图。根据航迹参数进行透视变换就 可以获得不同尺度、不同视点下地标的特性视图，经过红外辐射计算 后的前视参考图与红外实时图在某种特征上呈现最大的相似性，具有 更好的匹配性能。

本实施例中对下视红外参考图作透视变换的具体方式为：

令p为传感器视点，h为成像高度，α为方位角，θ为俯仰角，φ为 传感器纵向视场角，为传感器横向视场角，视场覆盖范围为 ROW×COL。T₀(x₀，y₀)为传感器光轴瞄准点，T₁(x₁，y₁)为某成像点，则在 前视图（实时图）中T₀的位置为（COL/2,ROW/2）。设T₁在前视图中 的位置为（T₁_ROW,T₁_COL），则计算T₁_ROW和T₁_COL的过程如下：

OT₀＝h/tanθ

OM＝OT₀+(y₁-y₀)×cosα+(x₁-x₀)×sinα

tan(∠OMP)＝h/OM

T₁_ROW＝ROW/2+(∠OMP-θ)*ROW/φ

其中，OT₀为光轴指向与大地水平面交点T₀与成像仪投影到大地O 点的距离，M点为T₁点投影到光轴纵向方向与OT₀直线的交点。根据 大地坐标系下某点与光轴瞄准点之间的位置偏差，就可以确定该点在 前视图中的位置。从而将下视参考图变换到前视参考图，为基于前视 参考图的匹配识别提供重要的参考数据。

图11给出了在不同的飞行高度，不同的成像距离和不同的视点 下获得的前视参考图，其中图11（a）-（b）对应的透视变换参数是 飞行高度为4km，成像距离分别为6km，10km，方位角为180°；图 11（c）-（d），（e）-（f）对应的透视变换参数均为飞行高度为5km， 成像距离分别为6km，10km，方位角为0°。图11（a）-（f）中各 个地标与目标之间的坐标位置可以通过下视参考图中的坐标位置以 及透视变换的参数求出。对应的目标与地标形殊点坐标的标记依次为：

T₁′，LM_1,1′-LM_1,3′；T₁″，LM_1,1″-LM_1,3″；

T₂′，LC_1,1′-LC_1,3′；T₂″，LC_1,1″-LC_1,3″；

T₃′，LB_1,1′-LB_1,3′；T₃″，LB_1,1″-LB_1,3″。

对于制备出的参考图，还可以对其进行基于匹配识别的误差分析， 以验证所制备参考图的性能。如对地标形殊点制备情况以及所选模板 大小进行分析，并加以改进制备出更精确的参考图。