基于显著点特征和稀疏自编码的遥感图像检索方法及系统

摘要

一种基于显著点特征和稀疏自编码的遥感图像检索方法及系统，包括提取图像库中各图像的特征点得到特征点矩阵，并利用视觉注意模型计算各图像的显著图；采用自适应阈值法将显著图二值化，并与特征点矩阵进行掩膜运算得到过滤后的显著特征点；从各训练图像分别选取若干显著特征点构造训练样本，根据白化后的训练样本集训练稀疏自编码网络，得到特征提取器；利用特征提取器进行特征提取，并用阈值函数对提取的图像特征进行稀疏化处理，得到最终的用于检索的特征向量；基于提取的特征向量，根据预设的相似性度量准则进行图像检索。本发明通过训练的稀疏自编码网络实现了图像特征的自动提取，并且提取的特征具有很好的识别力，保证了检索查准率。

说明书

技术领域

本发明属于图像处理技术领域，涉及一种基于显著点特征和稀疏自编码的遥感图像检索 方法及系统。

背景技术

随着遥感对地观测能力的提高，可获取的遥感数据呈现出多元化和海量化的特点。然而， 海量遥感数据为各类重大应用需求提供丰富数据源的同时，由于目前地面数据处理和分析能 力不足，遥感大数据的“数据海量、信息淹没”问题日益突出。如何利用新兴的科学计算技术 和手段，快速定位和智能检索遥感图像中的感兴趣目标或区域，是遥感大数据处理和分析面 临的挑战，也是遥感图像处理领域亟待解决的科学问题。遥感图像检索技术是解决这一瓶颈 问题的有效方法，研究高效的图像检索技术具有重要的意义。

目前的遥感图像检索技术主要是通过对图像的低层特征进行相似性度量，进而返回相似 图像。相比传统的基于关键字的检索方法，基于内容的检索方法效率和准确度更高，但设计 一种能有效描述各种复杂遥感图像场景的特征描述方法是非常困难的。近些年，深度学习由 于具有良好的特征学习能力逐渐成为图像识别领域的研究热点。相比人工设计的特征，基于 深度学习的方法能通过样本训练得到一个特征提取器以实现图像特征的自动提取，适用于包 含复杂场景的遥感图像检索。由于网络设计和训练相对简单，稀疏自编码已成为一种常用的 深度学习方法，并在图像处理中应用广泛。

对于稀疏自编码网络训练，在构造训练样本方面，现有方法通常是从训练图像上随机选 取一定数目和尺寸的图像块构造训练样本，这种样本构造方法有以下缺陷。第一，从人眼视 觉理论的角度来说，人们关注的是遥感图像上的特定目标，而随机选取的图像块可能并不包 含关注的特定目标。第二，由于训练图像的尺寸固定，因此随机选取图像块构造训练样本的 方法可能会造成训练样本不足。第三，由于训练样本是图像块，利用训练好的网络进行特征 提取时得到是图像块而非整幅图像的特征，因此不能直接用于图像检索。为了得到整幅图像 的特征，通常需要采用卷积的方法，但这一过程不仅计算效率低而且会引入其他参数。在激 活函数选择方面，现有方法通常采用sigmoid函数作为网络隐含层神经元的激活函数，而 sigmoid函数在网络反向传播时存在严重的梯度消失等问题，不利于网络训练。对于稀疏自编 码网络特征提取，现有方法通常是直接将隐含层的激活值作为提取的特征而没有经过稀疏化 处理，而实验表明稀疏特征性能更好。

发明内容

针对现有技术存在的不足，本发明提供了一种基于显著点特征和稀疏自编码的遥感图像 检索技术方案。本发明将提取遥感图像的显著点特征作为稀疏自编码网络的输入进而对其进 行训练，最终利用训练的特征提取器提取图像特征实现遥感图像检索。

本发明所采用的技术方案是一种基于显著点特征和稀疏自编码的遥感图像检索方法，包 括以下步骤：

步骤1，提取图像库中各图像的特征点得到特征点矩阵，并利用视觉注意模型计算各图像的 显著图；

步骤2，对于图像库中各图像的显著图，分别采用自适应阈值法将显著图二值化，并与图像 相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点；实现方式如下，

采用自适应阈值法将显著图二值化时，根据显著图像素的显著性大小，确定显著图的二 值化阈值T如下，

$T=\frac{2}{w\times h}\underset{x=1}{\overset{w}{\Sigma }}\underset{y=1}{\overset{h}{\Sigma }}I(x,y)$

其中，w和h分别表示显著图的宽和高，I(x,y)表示显著图像素(x,y)的显著值；

设根据二值化阈值T对显著图二值化，得到二值化显著图，相应有矩阵I_binary，设P表示 图像的特征点矩阵，P_I表示过滤后的显著特征点矩阵，计算显著特征点矩阵如下，

$P_I=P\otimes I_{binary}$

步骤3，从图像库中取若干图像作为训练图像，从各训练图像分别选取若干显著特征点构造 训练样本，得到训练样本集X，根据白化后的训练样本集X′训练稀疏自编码网络，得到特征 提取器；

所述稀疏自编码网络输入层、隐含层以及输出层，其中隐含层神经元采用ReLU函数作 为激活函数，输出层神经元采用softplus函数作为激活函数，稀疏自编码网络的代价函数定 义如下，

$J(W,b)=\frac{1}{2}\left|\right|X^{\prime }-H_{W,b}|{|}^2+\frac{\lambda }{2}|\left|W\right|{|}^2$

其中，第一项为均方误差项，第二项为正则项，H_W,b表示训练样本集X′的网络输出值， W＝[W₁,W₂]和b＝[b₁,b₂]分别表示网络输入层和隐含层间的权重W₁和偏置b₁以及隐含层和输 出层间的权重W₂和偏置b₂构成的权重矩阵，λ表示正则项系数；

步骤4，对图像库中的所有图像，利用步骤3训练所得的特征提取器进行特征提取，并用阈 值函数对提取的图像特征进行稀疏化处理，得到最终的用于检索的特征向量；实现方式如下，

提取的图像特征Y表示如下，

Y＝f₁(W₁P_I′+b₁)

其中，显著特征点矩阵P_I′是根据步骤2所得过滤后的显著特征点矩阵P_I白化后的结果；

对于提取的图像特征Y，进行如下稀疏化处理得到稀疏特征矩阵Z，

Z＝[Z₊,Z_-]＝[max(0,Y-α),max(0,α-Y)]

其中，α表示阈值函数的阈值，矩阵Z₊＝max(0,Y-α)，Z_-＝max(0,α-Y)；

设从一幅图像检测到的SIFT点个数是n个，对稀疏特征矩阵Z进一步处理，得到特征向 量F如下，

$F=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}[Z_{+}^i,Z_{-}^i]$

其中，和分别表示矩阵Z₊和Z_-的第i个列向量。

步骤5，基于步骤4提取的特征向量，根据预设的相似性度量准则进行图像检索。

而且，步骤1中，提取图像库中各图像的特征点得到特征点矩阵，利用SIFT算子提取实 现。

而且，步骤5中，预设的相似性度量准则采用城区距离。

本发明还相应提供一种基于显著点特征和稀疏自编码的遥感图像检索系统，包括以下模 块，

特征点提取模块，用于提取图像库中各图像的特征点得到特征点矩阵，并利用视觉注意模型 计算各图像的显著图；

显著特征点提取模块，用于对于图像库中各图像的显著图，分别采用自适应阈值法将显著图 二值化，并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点；实现方式如下，

采用自适应阈值法将显著图二值化时，根据显著图像素的显著性大小，确定显著图的二 值化阈值T如下，

$T=\frac{2}{w\times h}\underset{x=1}{\overset{w}{\Sigma }}\underset{y=1}{\overset{h}{\Sigma }}I(x,y)$

其中，w和h分别表示显著图的宽和高，I(x,y)表示显著图像素(x,y)的显著值；

设根据二值化阈值T对显著图二值化，得到二值化显著图，相应有矩阵I_binary，设P表示 图像的特征点矩阵，P_I表示过滤后的显著特征点矩阵，计算显著特征点矩阵如下，

$P_I=P\otimes I_{binary}$

训练模块，用于从图像库中取若干图像作为训练图像，从各训练图像分别选取若干显著特征 点构造训练样本，得到训练样本集X，根据白化后的训练样本集X′训练稀疏自编码网络，得 到特征提取器；

所述稀疏自编码网络输入层、隐含层以及输出层，其中隐含层神经元采用ReLU函数作 为激活函数，输出层神经元采用softplus函数作为激活函数，稀疏自编码网络的代价函数定 义如下，

$J(W,b)=\frac{1}{2}\left|\right|X^{\prime }-H_{W,b}|{|}^2+\frac{\lambda }{2}|\left|W\right|{|}^2$

其中，第一项为均方误差项，第二项为正则项，H_W,b表示训练样本集X′的网络输出值， W＝[W₁,W₂]和b＝[b₁,b₂]分别表示网络输入层和隐含层间的权重W₁和偏置b₁以及隐含层和输 出层间的权重W₂和偏置b₂构成的权重矩阵，λ表示正则项系数；

特征提取模块，用于对图像库中的所有图像，利用步骤3训练所得的特征提取器进行特征提 取，并用阈值函数对提取的图像特征进行稀疏化处理，得到最终的用于检索的特征向量；实 现方式如下，

提取的图像特征Y表示如下，

Y＝f₁(W₁P_I′+b₁)

其中，显著特征点矩阵P_I′是根据步骤2所得过滤后的显著特征点矩阵P_I白化后的结果；

对于提取的图像特征Y，进行如下稀疏化处理得到稀疏特征矩阵Z，

Z＝[Z₊,Z_-]＝[max(0,Y-α),max(0,α-Y)]

其中，α表示阈值函数的阈值，矩阵Z₊＝max(0,Y-α)，Z_-＝max(0,α-Y)；

设从一幅图像检测到的SIFT点个数是n个，对稀疏特征矩阵Z进一步处理，得到特征向 量F如下，

$F=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}[Z_{+}^i,Z_{-}^i]$

其中，和分别表示矩阵Z₊和Z_-的第i个列向量。

检索模块，用于基于特征提取模块提取的特征向量，根据预设的相似性度量准则进行图像检 索。

而且，特征点提取模块中，提取图像库中各图像的特征点得到特征点矩阵，利用SIFT算 子提取实现。

而且，检索模块中，预设的相似性度量准则采用城区距离。

与现有技术相比，本发明具有如下特点和有益效果，

1、采用视觉注意模型计算图像的显著图，并将显著图二值化对SIFT提取的特征点进行 过滤得到图像的显著特征点，不仅符合人眼的视觉注意特点而且能更好地反映出人们的检索 需求。

2、选取图像的显著特征点构造训练样本，弥补了传统的在训练图像上随机取样构造训练 样本的缺陷。

3、利用稀疏自编码网络训练得到的特征提取器实现了图像特征的自动提取，免除了针对 复杂遥感图像的特征设计过程。

4、扩展性好，训练样本包括但不仅限于显著特征点。

附图说明

图1为本发明实施例的流程图。

具体实施方式

本发明提出的基于显著点特征和稀疏自编码的遥感图像检索方法首先提取图像的特征点 得到特征点矩阵，并计算图像的显著图，然后采用自适应阈值将显著图二值化与特征点矩阵 进行“掩膜”运算得到显著特征点，接着选取一定数目的显著特征点构造训练样本训练稀疏自 编码网络，并利用训练的特征提取器自动提取图像特征得到用于检索的特征向量，最后根据 预设的相似性度量方法进行图像检索并返回相似图像。

为详细说明本发明技术方案，参见图1，提供实施例流程具体说明如下：

步骤1，提取图像库中各图像的特征点得到特征点矩阵，并利用视觉注意模型计算各图像 的显著图。

具体实施时，可以采用现有的图像库或由本领域技术人员自行构建的图像库。例如选取 一幅包含多个地物类别的高分辨率遥感图像，采用Tiles分块方式进行切分构建包含多个类别 的检索图像库。对于图像库中的每一幅图像，实施例首先采用SIFT(ScaleInvariantFeature Transform)算子提取图像的特征点(关键点)得到特征点矩阵，然后采用GBVS(Graph-Based VisualSaliency)模型计算图像的显著图，Tile分块方法，SIFT算子以及GBVS模型是现有技 术，本发明不予赘述。

步骤2，对于图像库中各图像的显著图，分别采用自适应阈值法将显著图二值化，并与 图像相应的特征点矩阵进行“掩膜”运算得到过滤后的显著特征点。

实施例中根据像素的显著性大小确定显著图的二值化阈值，二值化显著图与特征点矩阵 进行“掩膜”运算后得到显著特征点，实现如下：

根据显著图像素的显著性大小，由式(1)确定显著图的二值化阈值T。

$T=\frac{2}{w\times h}\underset{x=1}{\overset{w}{\Sigma }}\underset{y=1}{\overset{h}{\Sigma }}I(x,y)---\left(1\right)$

其中，w和h分别表示显著图的宽和高，I(x,y)表示显著图(x,y)处像素的显著值。

根据二值化阈值T对显著图二值化，得到二值化显著图，相应有矩阵I_binary。利用二值化 显著图对图像的特征点矩阵进行过滤得到显著特征点。设P表示图像的特征点矩阵，P_I表示 过滤后的显著特征点矩阵，则显著特征点矩阵可通过式(2)计算。

$P_I=P\otimes I_{binary}---\left(2\right)$

其中，

矩阵

矩阵P的每一个元素表示一个SIFT关键点对应的特征向量，而SIFT关键点对应的特征向量 一般是128维的，本发明实施例相应使用128维；

矩阵

其中，P₁₂₈(x,y)表示特征点对应的特征向量，若(x,y)处像素没有特征点则P₁₂₈(x,y)＝0。I_binary中各元素为0或1，I_binary(x,y)表示二值化显著图在(x,y)处的取值。符号为数乘运算符 号。

步骤3，从图像库中选取若干图像作为训练图像，从各训练图像分别选取若干显著特征 点构造训练样本，训练稀疏自编码网络，得到特征提取器。

实施例中，步骤3中选取一定数目的训练图像的显著特征点而非传统的图像块构造训练 样本，训练时选用ReLU(RectifiedLinearUnits)函数而非传统的sigmoid函数作为稀疏自编 码网络隐含层神经元的激活函数。例如，步骤3中每个显著特征点是一个4×4×8＝128维的特 征向量，一个特征点构成一个训练样本。具体实施时，训练图像的数目、一幅训练图像中显 著特征点的数目可由本领域技术人员自行指定。

具体实现如下：

首先，选取图像的显著特征点，构造训练样本集。

实施例首先从图像库中随机选取一定数目的图像作为训练图像，然后随机选取一定数目 的训练图像的显著特征点构造训练样本集。训练样本集可用式(3)表示：

其中，m表示训练样本的个数，X的每一列表示一个显著特征点，即一个训练样本。例如， [x_1,1,x_2,1,…,x_128,1]是第1个训练样本，[x_1,2,x_2,2,…,x_128,2]是第2个训练样本。

然后，训练稀疏自编码网络得到特征提取器。

由于同一幅训练图像提取的显著特征点存在一定的相关性，因此不能直接把训练样本集 X输入稀疏自编码网络进行训练。训练前采用ZCA(ZeroComponentAnalysis)白化对训练 样本进行处理得到白化后的训练样本集X′，并保存ZCA白化时的相关参数，ZCA白化实现 为现有技术，本发明不予赘述。

实施例定义了一个包含输入层、隐含层以及输出层3层的稀疏自编码网络，其中隐含层 神经元采用ReLU函数f₁＝max(0,x)作为激活函数，输出层神经元采用softplus函数 f₂＝ln(1+e^x)作为激活函数。相比传统的sigmoid函数，ReLU函数能一定程度上缓解梯度消 失问题更利于网络训练。给定训练样本集X′，则稀疏自编码网络的代价函数可定义为式(4)。

$J(W,b)=\frac{1}{2}\left|\right|X^{\prime }-H_{W,b}|{|}^2+\frac{\lambda }{2}|\left|W\right|{|}^2---\left(4\right)$

式中第一项为均方误差项，第二项为正则项，H_W,b表示训练样本集X′的网络输出值， W＝[W₁,W₂]和b＝[b₁,b₂]分别表示网络输入层和隐含层间的权重W₁和偏置b₁以及隐含层和输 出层间的权重W₂和偏置b₂构成的权重矩阵，λ表示正则项系数。具体实施时，训练时可采用 梯度下降等方法优化式(4)中的代价函数得到权重和偏置矩阵参数W和b。

步骤4，对图像库中的所有图像，利用步骤3训练所得的特征提取器进行特征提取，并 用阈值函数对提取的特征进行稀疏化处理，得到最终的用于检索的特征向量。

实施例的步骤4中将图像的显著特征点输入特征提取器进行映射得到相应的图像特征， 再利用阈值函数对提取的特征进行稀疏化处理即可得到最终的用于检索的特征向量。

提取的图像特征Y可用式(5)表示如下，

Y＝f₁(W₁P_I′+b₁)(5)

其中，将W₁P_I+b₁作为变量x代入ReLU函数f₁＝max(0,x)，此处所用的显著特征点矩阵P_I′是 根据步骤2所得过滤后的显著特征点矩阵，使用与对训练样本集X进行白化时相同的ZCA 白化参数进行预处理的结果。对于提取的图像特征Y，用式(6)进行稀疏化处理得到稀疏特 征矩阵Z。

Z＝[Z₊,Z_-]＝[max(0,Y-α),max(0,α-Y)](6)

其中，α表示阈值函数f＝max(0,x-α)和f＝max(0,α-Y)的阈值，矩阵Z₊＝max(0,Y-α)， Z_-＝max(0,α-Y)。

为了得到最终的用于检索的特征向量F，设从一幅图像检测到的SIFT点个数是n个，用 式(7)对稀疏特征矩阵Z进一步处理。

$F=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}[Z_{+}^i,Z_{-}^i]---\left(7\right)$

其中，和分别表示矩阵Z₊和Z_-的第i个列向量。

步骤5，基于步骤4提取的特征向量，根据预设的相似性度量准则进行图像检索：具体 实施时，本领域技术人员可自行预设相似性度量准则。实施例采用城区距离(L1范数)计算 查询图像和其他图像的相似性，并按相似性大小返回相关图像。具体实施时，可以图像库中 任一图像为查询图像，得到按相似性大小返回的相关图像，对图像库以外的其他图像，也可 以采用同样的方式提取特征向量，并从图像库中检索。

具体实施时，以上流程可采用计算机软件方式实现自动运行流程，也可以采用模块化方 式提供相应系统。本发明还相应提供一种基于显著点特征和稀疏自编码的遥感图像检索系统， 包括以下模块，

特征点提取模块，用于提取图像库中各图像的特征点得到特征点矩阵，并利用视觉注意模型 计算各图像的显著图；

显著特征点提取模块，用于对于图像库中各图像的显著图，分别采用自适应阈值法将显著图 二值化，并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点；实现方式如下，

采用自适应阈值法将显著图二值化时，根据显著图像素的显著性大小，确定显著图的二 值化阈值T如下，

$T=\frac{2}{w\times h}\underset{x=1}{\overset{w}{\Sigma }}\underset{y=1}{\overset{h}{\Sigma }}I(x,y)$

其中，w和h分别表示显著图的宽和高，I(x,y)表示显著图像素(x,y)的显著值；

设根据二值化阈值T对显著图二值化，得到二值化显著图，相应有矩阵I_binary，设P表示 图像的特征点矩阵，P_I表示过滤后的显著特征点矩阵，计算显著特征点矩阵如下，

$P_I=P\otimes I_{binary}$

训练模块，用于从图像库中取若干图像作为训练图像，从各训练图像分别选取若干显著特征 点构造训练样本，得到训练样本集X，根据白化后的训练样本集X′训练稀疏自编码网络，得 到特征提取器；

所述稀疏自编码网络输入层、隐含层以及输出层，其中隐含层神经元采用ReLU函数作 为激活函数，输出层神经元采用softplus函数作为激活函数，稀疏自编码网络的代价函数定 义如下，

$J(W,b)=\frac{1}{2}\left|\right|X^{\prime }-H_{W,b}|{|}^2+\frac{\lambda }{2}|\left|W\right|{|}^2$

其中，第一项为均方误差项，第二项为正则项，H_W,b表示训练样本集X′的网络输出值， W＝[W₁,W₂]和b＝[b₁,b₂]分别表示网络输入层和隐含层间的权重W₁和偏置b₁以及隐含层和输 出层间的权重W₂和偏置b₂构成的权重矩阵，λ表示正则项系数；

查询特征提取模块，用于对待查询的图像，利用步骤3训练所得的特征提取器进行特征提取， 并用阈值函数对提取的图像特征进行稀疏化处理，得到最终的用于检索的特征向量；实现方 式如下，

提取的图像特征Y表示如下，

Y＝f₁(W₁P_I′+b₁)

其中，显著特征点矩阵P_I′是根据步骤2所得过滤后的显著特征点矩阵P_I白化后的结果；

对于提取的图像特征Y，进行如下稀疏化处理得到稀疏特征矩阵Z，

Z＝[Z₊,Z_-]＝[max(0,Y-α),max(0,α-Y)]

其中，α表示阈值函数的阈值，矩阵Z₊＝max(0,Y-α)，Z_-＝max(0,α-Y)；

设从一幅图像检测到的SIFT点个数是n个，对稀疏特征矩阵Z进一步处理，得到特征向 量F如下，

$F=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}[Z_{+}^i,Z_{-}^i]$

其中，和分别表示矩阵Z₊和Z_-的第i个列向量。

检索模块，用于基于查询特征提取模块提取的特征向量，根据预设的相似性度量准则进行图 像检索。

本文中所描述的具体实施例仅是对本发明作举例说明。本发明所属技术领域的技术人员 可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，但并不会偏离本发明 的精神或者超越所附权利要求书所定义的范围。