遥感图像的语义自动标注方法研究

摘要

随着遥感技术向高分辨率、广覆盖方向的发展，遥感图像的数据量持续增长，迫切要求与获取速度相适应的管理和理解能力。遥感图像的语义自动标注是大规模遥感图像数据管理、理解的关键。采用信息技术自动获取遥感图像的语义词，有助于用户直观理解图像内容，完成海量遥感图像数据的高效管理。
　　现有标注方法在遥感图像语义自动标注过程中存在以下挑战：（1）遥感图像的空间结构复杂、地理特征信息丰富，很多学者基于遥感图像的单一特征进行研究，标注精度较低。图像特征融合有助于遥感图像内容的准确表达，但是遥感图像每一维特征并不都与标注精度强相关，部分弱相关的特征会影响遥感图像语义的标注精度。（2）融合的特征越多，遥感图像特征数据维度越高。随着遥感图像数据大规模的增加，传统的语义标注方法在面对海量高维特征数据时难以挖掘特征数据之间的规律，底层特征无法精准反映高层语义概念，使得标注精度受到制约。（3）海洋遥感图像作为典型的遥感图像，具有显著的目标信息稀疏性，即在大尺度的海洋遥感图像中，关键信息往往仅占整个图像的小部分。另外，在不同观测尺度下，感兴趣的对象所蕴含的语义概念也会不同。使用传统的语义标注方法，不仅无法准确表达海洋遥感图像内容，而且还会导致标注性能较差。
　　本文针对遥感图像复杂结构造成语义自动标注精度较低的问题进行研究，主要工作分成三部分：
　　（1）针对遥感图像单一特征无法准确描述图像内容，采用多特征融合的方式来表达遥感图像。但是简单融合遥感图像特征，没有考虑弱相关的特征对标注精度的影响，提出一种基于权重特征融合标注方法。在不分割遥感图像前提下，基于HSV空间采用颜色矩方法提取遥感图像颜色特征，采用共生矩阵方法提取遥感图像纹理特征，采用尺度不变特征变换方法提取遥感图像形状特征。通过遥感图像每一标注词每一维特征的标准差来判断特征的稳定性，根据稳定程度计算出其对应的权重系数。该方法兼顾遥感图像颜色、纹理、形状特征，相应调整强、弱相关的特征在遥感图像特征表达中作用。在公开遥感图像数据集上，采用支持向量机进行遥感图像的语义自动标注实验，实验表明基于权重特征融合的语义标注方法与仅采用遥感图像单一特征的标注方法相比，精度较高。（2）当融合的特征越多时，遥感图像特征数据维度越高，使得标注精度较低。构建一个以高维融合特征为输入的基于深度学习遥感图像语义自动标注模型。模型的第一层使用改进的受限玻尔兹曼机，以适应最优权重融合的高维可视特征作为模型的最底层输入，其他层都是以受限玻尔兹曼机为基础，通过标注模型的逐层空间转换，实现从底层到高层特征提取，发现数据分布式特征，从而提高遥感图像的语义标注精度。将该方法与传统神经网络及基于权重融合的遥感图像标注方法进行对比分析，实验验证融合多特征的深度学习遥感图像标注方法在精度上取得更好效果。（3）由于海洋遥感图像具有显著的目标信息稀疏性，使得标注精度受限，提出一种基于深度学习多示例海洋遥感图像标注模型。首先根据海洋遥感图像多尺度特性，利用小波变换得到图像在不同分辨率下的表达，粗粒度划分海洋遥感图像背景区域和对象区域，利用多示例表示每一尺度层图像。计算同一尺度空间的不同示例之间的相似度，通过设定阈值，完成遥感图像的自适应分割。然后将每一层图像示例作为深度学习模型的输入，完成新图像语义的标注。定量计算标注词间共现和对立的语义关系，改善图像标注词。最后通过实验验证所提出方法明显提高海洋遥感图像的语义标注精度。

目录

声明

第一章 绪论

1.1选题背景及意义

1.2遥感图像标注的国内外研究进展

1.3遥感图像特征融合的国内外研究进展

1.4存在的问题

1.5主要研究内容

1.6章节结构

第二章 基于权重特征融合的遥感图像自动标注方法

2.1引言

2.2基于颜色矩提取颜色特征

2.3基于共生矩阵提取纹理特征

2.4基于SIFT提取形状特征

2.5基于权重特征融合的遥感图像语义标注

2.6实验与分析

2.7本章小结

第三章 融合多特征的深度学习遥感图像标注方法

3.1引言

3.2基于受限玻尔兹曼机的DBN标注模型

3.3融合多特征的深度学习遥感图像语义标注

3.4实验与分析

3.5本章小结

第四章 基于深度学习多示例海洋遥感图像标注方法

4.1引言

4.2基于海洋遥感图像对象区域多尺度分析

4.3基于DBNMI海洋遥感图像语义标注

4.4标注词语义相关性度量

4.5实验与分析

4.6本章小结

第五章 总结与展望

5.1研究工作总结

5.2研究展望

参考文献

附录

致谢