基于图像学习表征和重排序的遥感影像内容检索

摘要

遥感图像的内容检索一直是遥感领域的研究热点。初期的检索方式主要依赖于遥感数据的相关元数据，例如成像卫星、图像地理位置信息等。但随着遥感数据量的增长，传统的、基于文字的遥感图像检索方法已经无法满足用户的复杂需求，所以基于内容的图像检索受到了越来越多遥感领域研究者的关注。与自然图像内容检索相比，遥感图像有很多独有的特性，如图像包含的内容量大且种类繁多等，所以很多成熟的检索算法应用于遥感图像时效果都不理想。近些年，研究者们为了攻克遥感图像检索的种种难题，提出了大量的遥感图像检索算法，这些算法既涉及简单的图像相似度计算，也包括了难度较大的语义信息提取、标注等任务。本文在这样的背景下，从遥感图像的特点出发，提出有效的算法完成遥感图像的内容检索，这些研究成果得到了国内外同行的认可，具体内容包括：
　　1.针对合成孔径雷达（Synthetic Aperture Radar，SAR）图像的特点，提出了基于语义分类和改进区域距离测度的SAR图像检索算法。当用户提供查询图像时，算法首先使用经典的半监督学习算法对查询图像进行分类；其次，为了降低分类错误对检索结果的影响，算法在混淆矩阵的基础上，根据经验后验概率将查询图像的类标扩展为类标集合；随后，算法提出了改进的区域匹配算法来度量查询图像和属于类标集合的目标图像之间的相似度，并依据相似度关系得到检索结果。本工作的创新性：i)检索前的语义分类步骤不仅减小了后续的搜索空间，也从一定意义上降低了语义鸿沟的影响；ii)结合SAR图像的特点，提出的相似度算法能够更准确地度量SAR图像之间的距离。
　　2.考虑到SAR图像里有大量的相干斑噪声，在超像素和模糊理论的基础上提出了区域模糊相似度，并利用此相似度获得初始检索结果；随后提出了多重相关反馈技术，结合不同相关反馈的特点，完成对初始检索结果的优化，并获得最终的检索结果。本工作选用超像素主要因为它既能有效的抑制SAR图像中相干斑噪声又能加快算法的速度；而加入模糊理论是用来解决分割区域的不确定性和分割边界的模糊性。依赖相似度度量的初始检索结果往往不能达到用户的需求，为此本工作在相关反馈的框架下，利用多种主动学习算法，提出了多重相关反馈的融合策略来完成对初始检索结果的优化。
　　3.结合SAR图像的特点，提出了一种有效的SAR图像重排序算法。与前文提到的相关反馈技术类似，图像重排序算法也是用于优化初始检索结果的后处理方法，但不同的是，此类算法仅针对初始检索结果中排序靠前的部分图像，而且在重排序过程中不依赖用户提供的正负样本信息，而是通过深入挖掘图像间的相互关系来调整初始检索结果的顺序。本文提出的重排序算法首先用多种针对SAR图像的视觉特征来全面的表示图像；其次在不同的特征空间估计出检索结果的相关得分，并根据相关得分和不同的模态（特征空间）构造模态图像矩阵，进一步根据此矩阵计算SAR图像间的融合相似度；最后，根据现有的重排序目标函数和求得的图像间相似度关系完成对初始检索结果的优化。
　　4.传统的图像重排序算法直接使用初始检索结果中靠前位置的若干图像进行结果优化，这样做虽然在一定程度上保证了用于重排序的图像与查询图像更相关，但不能忽略其中必掺杂着一定数量的噪声图像（与查询图像内容并不相似的图像）；另外，用户并不直接参与重排序，这样虽然减小了用户的工作量，但增加了重排序结果不能满足用户需求的风险。为了解决上述问题，本文提出两阶段重排序算法，并应用其优化遥感图像的检索结果。第一阶段，本工作提出编辑策略，该策略主要用于删除上述的噪声图像，使保留至重排序阶段的图像与查询图像更为相似，同时因为加入用户的意见，也保证了用于重排序的图像更满足用户本身的需求；第二阶段，提出了多重相似度融合的图像重排序算法，将图像重排序问题转换成为多图的学习问题，并提出交替迭代的优化算法求解重排序过程中的各个参数。该工作的有效性在不同种类的遥感图像上得到了验证。
　　5.为了降低用户的工作量，同时保证重排序结果的可靠性，我们提出了联合重排序算法并用于检索遥感图像。该工作利用由粗到细的思路，分两步完成图像重排序任务。首先，我们从贝叶斯学习的角度出发，提出后融合策略来查找并删除初始检索结果靠前位置的噪声图像，使得保留至细重排序阶段的图像与查询图像更为相似；其次，使用多重相似度融合的图像重排序算法对剩余的图像进行重排序，为了降低重排序目标函数求解的复杂度，该工作提出了新的组合优化算法同时更新多个参数，实验证明，提出的组合优化算法在保持重排序性能的同时，加快了目标函数的求解速度。
　　6.相比于大多数人工设计的低级视觉特征，图像的深度特征能更全面、多角度的理解图像的内容，并在图像分类、识别等工作中取得了傲人的成绩。在这样的背景下，本文尝试将深度卷积网络应用于SAR图像检索，并对实验结果进行了全面的分析。首先，该工作介绍了卷积神经网络的基本框架；其次，该工作选用四种流行的多层卷积网络提取SAR图像的深度特征（一般是最后一个全连接层的输出），并根据深度特征得到检索结果；最后，我们对实验结果进行了全面的分析，包括多种常用的距离测度得到的检索结果、不同参数对检索性能的影响等。

目录

声明

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.2 基于内容的遥感图像检索方法简介

1.3 图像重排序

1.4 图像重排序方法介绍

1.5 基于内容的遥感图像检索、重排序问题的评价方式

1.7 本文主要工作及结构安排

第二章 基于半监督语义分类和区域距离测度的SAR图像检索算法

2.2 方法论

2.3 SAR图像库介绍

2.4 实验结果与分析

2.5 本章小结

第三章 基于模糊相似度和相关反馈的SAR图像检索算法

3.2 方法论

3.3 实验数据介绍

3.4 实验结果与分析

3.5 本章小结

第四章 基于融合相似度的SAR图像重排序算法

4.2 方法论

4.3 实验数据介绍

4.4 实验结果与分析

4.5 本章小结

第五章 两阶段重排序算法及其在遥感图像中的应用

5.2 方法论

5.3 实验数据介绍

5.4 实验结果与分析

5.5 本章小结

第六章 基于联合重排序算法的遥感图像检索

6.2 方法论

6.3 实验数据介绍

6.4 实验结果与分析

6.5 本章小结

第七章 基于深度特征的SAR图像检索

7.3 四种流行的深度CNN网络

7.4 测试数据及实验设置

7.5 实验结果与分析

7.6 本章小结

第八章 总结与展望

参考文献

致谢

作者简介