基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法

摘要

本发明提供了基于改进的Mask R‑CNN模型的卫星遥感图像农田块分割方法，涉及遥感图像处理技术领域。本发明使用Mask R‑CNN模型进行训练，除光谱特征外，训练过程中模型会自动提取感图像中的农田块纹理特征，结合纹理特征的空间语义信息和光谱特征，得到可用性高的农田边界，并且Mask R‑CNN能够对卫星遥感图像中的农田块自动提取特征，相较于人工提取农田块特征，具有准确高效、鲁棒性高的技术优势；通过PANet结构替换FPN结构改进Mask R‑CNN模型，加强多尺度特征融合，提升Mask R‑CNN模型实例分割效果。

说明书

技术领域

本发明涉及遥感图像处理技术领域，更具体地，涉及基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法。

背景技术

卫星遥感技术经过多年的发展，无论在光谱分辨率、空间分辨率、时间分辨率等方面都取得了巨大的进步，已经形成高光谱、高空间分辨率、全天时、全天候、实时/准实时的对地观测能力。高分辨率卫星遥感图像主要包括的特征有：地物纹理信息丰富、成像光谱波段多、重访时间短，在高分辨率下实现对小范围精确探测的技术在国内外军民领域已得到广泛应用。随着海量卫星遥感数据的大量获取，智能化、精准农业应用成为热点和趋势，如智能病虫害监控、农作物长势监测、农药喷洒和无人播种等，而如何从海量的高分辨率卫星遥感数据中提取农田和农作物的空间分布要素，成为制约精准农业发展的关键技术。

农田块是卫星遥感图像中具有明显边缘的一块独立农田区域，目前，无人机农药喷洒和无人机播种过程中需要的农田块边界基本都是通过人工方式提取的，其效率低、成本高，且数据分布零散无法实现集中管理和更新。因此，农田块边界的自动、精确提取是精准农业应用的一项关键技术。近年来，计算机视觉和机器学习取得了快速发展，其中图像地物分类和语义分割法层出不穷。但现有图像分类和语义分割方法只能区分不同类别的地物类型或目标，而不能很好地实现单个农田块的分割和边界提取。因此，实际应用中亟需一种针对高分辨率卫星遥感图像的快速有效的农田边界精准提取和分割的方法，能够提供语义完整的、精确的农田块边界。最近几年，作为语义分割的进一步延伸，能够区分不同地物类型的同时，也能区分属于同一类型的不同对象个体的实例分割方法开始引起行业关注。

公开号：CN107563413A，公开日为2018-01-09的无人机航拍影像农田块对象精准提取方法，该发明提供了一种无人机航拍影像农田块对象精准提取方法，首先利用轮廓检测获得图像边缘信息，再利用分水岭变换获得底层分割块，并给予轮廓强度生成多尺度的分割图，最后通过有监督的图像分类来实现非农田区域剔除。但该方法仅利用光谱信息进行农田边缘检测，没有结合农田对象的空间语义信息对农田边界进行优化，得到的农田边界可用性不高，而且无人机航拍范围小、成本高，在实际农业应用上比较受限。

公开号：CN108830870，公开日为2018-11-16的基于多尺度结构学习的卫星影像高精度农田边界提取方法，该发明综合提取农田块的光谱、纹理、边缘和对象结构信息作为特征并进行多尺度边缘信息融合，通过利用条件随机场对农田块的空间分布位置进行建模，提高了农田边界的可用性。但是该方法是人工提取特征，不仅可能将重要特征遗漏，还可能没有考虑到特征之间的冗余性和权重比例。

发明内容

本发明为克服上述技术问题，提供一种结合农田对象的空间语义信息并无需人工提取特征的改进Mask R-CNN的卫星遥感图像农田块分割与定位方法。

本发明技术方案如下：

基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法，包括：

S1：获取卫星遥感图像，对所述遥感图像进行预处理，得到归一化遥感图像，根据所述归一化遥感图像中是否有云，划分为有云遥感图像和无云遥感图像；

S2：使用改进的Mask R-CNN模型分割有云遥感图像中的云，得到无云掩膜图像，然后将无云掩膜图像与同一区域不同时相的遥感图像互补合成无云遥感图像，从而使所有归一化遥感图像均为无云图像；

S3：将无云遥感图像作为训练集，输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型；

S4：将待分割农田的遥感图像输入训练好的农田分割模型，得到农田边界的分割结果；

其中，所述改进的Mask R-CNN模型的特征提取部分采用PANet结构。

本技术方案提出了基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法，使用Mask R-CNN模型进行训练，除光谱特征外，训练过程中模型会自动提取感图像中的农田块纹理特征，结合纹理特征的空间语义信息和光谱特征，得到可用性高的农田边界，并且Mask R-CNN能够对卫星遥感图像中的农田块自动提取特征，相较于人工提取农田块特征，具有准确高效、鲁棒性高的技术优势；通过PANet结构替换FPN结构改进Mask R-CNN模型，加强多尺度特征融合，提升Mask R-CNN模型实例分割效果。

进一步地，步骤S1所述预处理包括：

S11：获取卫星遥感图像的RPC信息；

S12：基于RPC信息分别对卫星遥感图像的多光谱和全色数据进行正射校正；

S13：以全色数据为基准对多光谱数据进行配准；

S14：对配准后的图像进行图像融合操作；

S15：对融合后的图像进行辐射定标和大气校正。

进一步地，步骤S1所述预处理还包括图像剪裁，具体为：

S16：按照预设尺寸将图像剪裁成预设大小的归一化遥感图像。

进一步地，步骤S13采用ENVI平台进行配准。

进一步地，所述图像剪裁是根据经纬度坐标进行剪裁。

进一步地，步骤S2所述使用改进的Mask R-CNN模型分割有云遥感图像中的云包括：

S21：标注有云遥感图像中的云；

S22：将已标注的有云遥感图像作为训练集；输入到改进的Mask R-CNN模型进行模型训练，得到训练好的云分割模型

S23：使用云分割模型分割未标注的有云遥感图像中的云。

进一步地，步骤S3训练得到农田分割模型包括：

S31：标注无云遥感图像中的农田区域；

S32：将已标注的无云遥感图像作为训练集；输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型。

进一步地，步骤S32为将一部分已标注的无云遥感图像划分为训练集，此外，还将剩余的无云遥感图像划分为测试集和验证集，测试集用于评估农田分割模型的精度，验证集用于在训练过程中对农田分割模型调参。

进一步地，所述卫星遥感图像为高分二号卫星拍摄的遥感图像数据。

进一步地，步骤S4所述得到农田边界的分割结果之后，还对农田块进行定位，具体为：获取农田块所在图像左上角和右下角像素的经纬度，计算每个农田边界的像素点在图像中的坐标，用像素比例表示，然后再将农田边界像素点映射到GPS坐标上，实现对每个农田块进行GPS定位。

本技术方案提出了基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法，与现有技术相比，本发明技术方案的有益效果是：使用Mask R-CNN模型进行训练，除光谱特征外，训练过程中模型会自动提取感图像中的农田块纹理特征，结合纹理特征的空间语义信息和光谱特征，得到可用性高的农田边界，并且Mask R-CNN能够对卫星遥感图像中的农田块自动提取特征，相较于人工提取农田块特征，具有准确高效、鲁棒性高的技术优势；通过PANet结构替换FPN结构改进Mask R-CNN模型，加强多尺度特征融合，提升Mask R-CNN模型实例分割效果。

附图说明

图1为本发明农田块分割方法步骤示意图；

图2为改进的Mask R-CNN模型结构示意图；

图3为遥感图像农田块分割效果示意图；

图4为模型训练过程流程图。

具体实施方式

为清楚地说明本发明基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法，结合实施例和附图对本发明作进一步说明，但不应以此限制本发明的保护范围。

实施例1

基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法，如图1所示，所述方法包括以下步骤：

S1：获取卫星遥感图像，对所述遥感图像进行预处理，得到归一化遥感图像，根据所述归一化遥感图像中是否有云，划分为有云遥感图像和无云遥感图像；

S2：使用改进的Mask R-CNN模型分割有云遥感图像中的云，得到无云掩膜图像，然后将无云掩膜图像与同一区域不同时相的遥感图像互补合成无云遥感图像，从而使所有归一化遥感图像均为无云图像；

S3：将无云遥感图像作为训练集，输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型；

S4：将待分割农田的遥感图像输入训练好的农田分割模型，得到农田边界的分割结果；

本技术方案使用Mask R-CNN模型进行训练，除光谱特征外，训练过程中模型会自动提取感图像中的农田块纹理特征，结合纹理特征的空间语义信息和光谱特征，得到可用性高的农田边界，并且Mask R-CNN能够对卫星遥感图像中的农田块自动提取特征，相较于人工提取农田块特征，具有准确高效、鲁棒性高的技术优势；通过PANet结构替换FPN结构改进Mask R-CNN模型，加强多尺度特征融合，提升Mask R-CNN模型实例分割效果。

实施例2

基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法流程图如图1所示，包括以下步骤：

S1：获取卫星遥感图像，对所述遥感图像进行预处理，得到归一化遥感图像，根据所述归一化遥感图像中是否有云，划分为有云遥感图像和无云遥感图像；

所述预处理包括：

S11：获取卫星遥感图像的RPC信息；

S12：基于RPC信息分别对卫星遥感图像的多光谱和全色数据进行正射校正；

S13：以全色数据为基准对多光谱数据进行配准；

S14：对配准后的图像进行图像融合操作；

S15：对融合后的图像进行辐射定标和大气校正；

S16：按照预设尺寸将图像剪裁成预设大小的归一化遥感图像，所述图像剪裁是根据经纬度坐标进行剪裁。

S2：使用改进的Mask R-CNN模型分割有云遥感图像中的云，得到无云掩膜图像，然后将无云掩膜图像与同一区域不同时相的遥感图像互补合成无云遥感图像，从而使所有归一化遥感图像均为无云图像；

所述使用改进的Mask R-CNN模型分割有云遥感图像中的云包括：

S21：标注有云遥感图像中的云；

S22：将一部分已标注的有云遥感图像划分为训练集；输入到改进的Mask R-CNN模型进行模型训练，得到训练好的云分割模型

S23：使用云分割模型分割未标注的有云遥感图像中的云。

S3：将一部分无云遥感图像划分为训练集，输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型；

训练得到农田分割模型包括：

S31：标注无云遥感图像中的农田区域；

S32：将一部分已标注的无云遥感图像划分为训练集；输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型。

S4：将待分割农田的遥感图像输入训练好的农田分割模型，得到农田边界的分割结果；然后对农田块进行定位，具体为：获取农田块所在图像左上角和右下角像素的经纬度，计算每个农田边界的像素点在图像中的坐标，用像素比例表示，然后再将农田边界像素点映射到GPS坐标上，实现对每个农田块进行GPS定位。

实施例3

基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法流程图如图1所示，包括以下步骤：

S1：获取卫星遥感图像，对所述遥感图像进行预处理，得到归一化遥感图像，根据所述归一化遥感图像中是否有云，划分为有云遥感图像和无云遥感图像；

所述预处理包括：

S11：获取卫星遥感图像的RPC信息；

S12：基于RPC信息分别对卫星遥感图像的多光谱和全色数据进行正射校正；

S13：以全色数据为基准对多光谱数据进行配准；

S14：对配准后的图像进行图像融合操作；

S15：对融合后的图像进行辐射定标和大气校正；

S16：按照预设尺寸将图像剪裁成预设大小的归一化遥感图像，所述图像剪裁是根据经纬度坐标进行剪裁。

其中，所述改进的Mask R-CNN模型的特征提取部分采用PANet结构。改进的MaskR-CNN模型结构如图2所示。

本实施例中，所述卫星遥感图像为高分二号卫星拍摄的遥感图像数据。高分二号(GF-2)卫星是我国自主研制的首颗空间分辨率优于1米的民用光学遥感卫星，搭载有两台高分辨率1米全色、4米多光谱相机，观测幅宽达到45公里，具有亚米级空间分辨率、高定位精度和快速姿态机动能力等特点，有效地提升了卫星综合观测效能，达到了国际先进水平。由于获取到的高分二号数据是归档为1级产品，还需要经过上述步骤的预处理才能后续使用。

本实施例中，步骤S13使用ENVI中的自动配准流程化工具，以全色数据为基准对多光谱数据进行配准。配准完后进行图像融合操作，使得图像更加得清晰。

S2：使用改进的Mask R-CNN模型分割有云遥感图像中的云，得到无云掩膜图像，然后将无云掩膜图像与同一区域不同时相的遥感图像互补合成无云遥感图像，从而使所有归一化遥感图像均为无云图像；

所述使用改进的Mask R-CNN模型分割有云遥感图像中的云包括：

S21：标注有云遥感图像中的云；

S22：将一部分已标注的有云遥感图像划分为训练集；输入到改进的Mask R-CNN模型进行模型训练，得到训练好的云分割模型

S23：使用云分割模型分割未标注的有云遥感图像中的云。

S3：将一部分无云遥感图像划分为训练集，输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型；

训练得到农田分割模型包括：

S31：标注无云遥感图像中的农田区域；

S32：将一部分已标注的无云遥感图像划分为训练集；输入到改进的Mask R-CNN模型进行模型训练，得到训练好的农田分割模型。

模型训练流程图如图4所示，本实施例中，将全部已标注的无云遥感图像以6：2：2的比例划分为训练集、测试集和验证集。将训练集输入到改进的Mask R-CNN模型进行模型训练，然后，使用经过训练的模型对测试集上所有遥感图像中的农田块进行实例分割，得到所有农田块边界并可视化出来，遥感图像农田块分割效果和边界提取效果如附图3；使用验证集在训练过程中对农田分割模型调参，得到训练好的农田分割模型。

S4：将待分割农田的遥感图像输入训练好的农田分割模型，得到农田边界的分割结果；然后对农田块进行定位，具体为：根据经纬度剪裁的图像具有经纬度信息，获取农田块所在图像左上角和右下角像素的经纬度，计算每个农田边界的像素点在图像中的坐标，用像素比例表示，然后再将农田边界像素点映射到GPS坐标上，实现对每个农田块进行GPS定位。