一种面向农作物分类的时间序列特征重建及动态识别方法

摘要

一种面向农作物分类的时间序列特征重建及动态识别方法，包括：步骤1：初始样本数据集构建；步骤2：缺失数据区域预测填充；步骤3：缺失数据区域取值范围取值填充；步骤4：回归器与分类器迭代；步骤5：动态分类；重复步骤2至步骤4，进行第r+1维特征回归器与分类器的构建，直到完成对所有R维特征的回归器与分类器的建立；实现数据缺失部分的重建和农作物分类，完成农作物的动态识别。本发明通过以LSTM网络模型作为框架，将用于缺失值填充的回归器和用于作物分类的分类器进行协同优化，实现对时序遥感数据缺失部分的填充，并根据动态增加的遥感数据对农作物进行分类，实现分类结果精度的逐步提高。

说明书

技术领域

本发明属于图像处理模式分类领域，具体涉及一种面向农作物分类的时间序列特征重建及动态识别方法。

背景技术

及时地、准确地获取作物的空间分布信息是作物的长势监测、产量预估和灾害评估等工作的重要前提，对精准农业及其相关应用有重要意义。遥感技术具有覆盖面积广、重访周期短、数据获取相对容易、信息量大和费用低等优点，相比传统的实地调查方式，是一种高效的信息获取方法。因而，基于遥感数据的作物类型、种植面积和空间分布信息获取方法越来越多地应用于农业领域。由于时间序列(以下简称时序)遥感影像具有追踪作物生长信息演变的能力，使用基于时序遥感影像的方法进行作物分类成为获得高精度作物分布制图的有效手段(Roy D P,Yan L.Robust Landsat-based crop time series modelling[J].Remote Sensing of Environment,2018:110810)。

时序特征向量(如时序归一化植被指数(Normalized Difference VegetationIndex,NDVI))描述了土地覆被随时间的变化，不同时间维度的特征之间存在较强的相关性，即前后时相之间是相互关联的。但由于传统分类模型(例如深度卷积神经网络，支持向量机等)假定特征的各个维度之间是相互独立的，从而无法有效地描述时序特征表达的演变，造成分类结果精度较低。循环神经网络(Recurrent Neural Network,RNN)模型，通过在网络结构中引入环，使得隐藏层的值h

其中，长短期记忆网络(Long Short-Term Memory，LSTM)通过引入一种称为门(或者记忆细胞)特殊的隐层来记住前面的输入，是一种特殊的循环神经网络，该网络有效地解决了训练时存在梯度激增或消失的问题。目前，该网络已经应用基于时间序列影像的农作物分类，并取得了优于传统方法的精度(Zhou Ya’nan,Luo Jiancheng,Feng Li,YangYingpin,Chen Yuehong,Wu Wei(2019):Long-short-term-memory-based cropclassification using high-resolution optical images and multi-temporal SARdata[J],GIScience&Remote Sensing,56(8):1170-1191)。

然而，上述方法在农作物类型监测等应用中存在着方法和数据两个方面的问题：方法上，由于遥感技术按照一定的周期重访，是一种流式的、动态的获取数据。传统的分类方法要求同时处理所有数据，即所有的数据需要在分类之前一次性准备好；数据方面，由于遥感影像中云及其阴影的存在，直接获取到完整的、无缺失的作物时序信息是极其困难的。这使光学图像的特征取决于部分或全部缺少的数据，导致在不同维度上产生不一致的特征，阻碍了特征的精确对齐(D.Pouliot and R.Latifovic,“Reconstruction of Landsattime series in the presence of irregular and sparse observations:Developmentand assessment in north-eastern Alberta,Canada,”Remote Sens.Environ.,vol.204,no.July 2017,pp.979–996,2018.)。

因而，利用光学时间序列影像构建动态分类器，需要解决缺失区域重建和动态分类两个方面的问题。以LSTM为代表的RNN在多种应用中取得了良好的效果，但该类方法都是将循环神经网络作为一种特征提取工具和分类性能优异的分类器。对此，本发明以LSTM网络模型作为框架，将缺失值填充(称为回归器)和作物分类(称为分类器)进行协同优化，实现时序遥感数据缺失部分的填充，并根据动态获取的遥感数据对农作物进行分类，实现分类精度和分类结果的逐步提高。

发明内容

本发明要克服现有技术的上述缺点，提出一种面向农作物分类的时间序列特征重建及动态识别方法。

首先，本发明利用LSTM网络构建回归器模型，对缺失数据进行填充，完成时序特征重建；然后，基于LSTM网络构建分类器模型，对已经填充的数据进行分类，再根据对分类结果的评价对回归器和分类器进行协同优化；最后，随着时序作物数据的动态增加不断生成新的回归器与分类器，实现作物的动态分类。

根据以上原理，本发明的一种面向农作物分类的时间序列特征重建及动态识别方法，包括以下步骤：

步骤1：初始样本数据集构建；

假设研究区域已经采集了R景影像X(R)，根据采集日期D进行排序得到：

X(R)＝

D(R)＝

其中，X

从遥感影像X(R)中获取的时序特征x(R)可以表示为：

x(R)＝

作物类型根据通过NDVI随时间的变化来区分。

待分类的n种作物K(n)可以表示为：

K(n)＝

通过实地数据采集或者图像解译获得带有标签的样本集S表示为：

S＝{s

其中，m为获得的样本个数，T为转置符号。样本集中的元素s

由于云和云阴影的影响，样本集在部分维度上是缺失的。

步骤2：缺失数据区域预测填充；

利用基于LSTM网络构建的回归器模型对初始数据集S

假设r(1＜r≤R)表示待填充的特征维度，前r-1维特征的缺失区域已填充完毕，可以使用合适的方法进行填充。

将初始数据集在第r维特征上无数据缺失的部分表示为v

基于LSTM网络构建第r维特征的回归器模型M

将U

步骤3：缺失数据区域取值范围取值填充；

首先，利用V

得到分类结果为第3种“T-F”情况的样本集Q

利用v

其中，λ表示第r维特征中作物k

之后，对Q

Z

在时间序列分类过程中，通过Softmax函数可以获得各个类别的概率，将各个类别最大的值作为估计结果。

Q

步骤4：回归器与分类器迭代；

利用步骤3得到的S

将S

采用上述方法填充数据集样本中的缺失区域，可以提高相同类型作物样本的相似性，使回归器预测结果与实际类型数值逐渐接近，实现分类精度的提高。

步骤5：动态分类；

重复步骤2至步骤4，进行第r+1维特征回归器与分类器的构建，直到完成对所有R维特征的回归器与分类器的建立。实现数据缺失部分的重建和农作物分类，完成农作物的动态识别。

本发明采用上述方案的优点是：本发明通过以LSTM网络模型作为框架，将用于缺失值填充的回归器和用于作物分类的分类器进行协同优化，实现对时序遥感数据缺失部分的填充，并根据动态增加的遥感数据对农作物进行分类，实现分类结果精度的逐步提高。

附图说明

附图1是本发明方法的流程图。

附图2(a)～图2(b)是本发明的实施例的研究区域位置。图2(a)为寿县在安徽省的位置；图2(b)为寿县的哨兵2号卫星影像，该影像按照标准假彩色方式合成，即近红外、红、绿波段分别作为红、绿、蓝波段。

附图3是本发明的实施例采用的影像。图中标明了采用影像的日期，每幅子图种的百分比表示当前日期影像中缺失区域的百分比。

附图4(a)～图4(h)是本发明的实施例研究区域的局部分类结果。图4(a)为夏收作物在4月5日影像中的局部区域；图4(b)为夏收作物在5月20日影像中的局部区域；图4(c)夏收作物在6月4日影像中的局部区域；图4(e)为秋收作物在7月14日影像中的局部区域；图4(f)为秋收作物在9月22日影像中的局部区域；图4(g)为秋收作物在10月29日影像中的局部区域；图4(d)、(h)分别为本发明实施例的夏收作物与秋收作物的局部分类结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例和附图1的发明流程对本发明作进一步的详细描述。应当理解，此处描述的具体实施例仅用于解释本发明，并不用于限定本发明，及所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。因而，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例的研究区域为安徽省淮南市寿县(如图2(a)～图2(b)所示)，本研究区域采用哨兵2号卫星2019年全年影像，共有145景。由于云和云阴影的影响，造成时序特征在部分维度上的缺失，本实施例仅保留能够为分类提供有效信息的26景影像(如图3所示)，影像数目越多，越能够提高分类结果精度，可以根据需求及其数据获取情况进行选择。在本实施例中，分类以地块方式进行实施。地块数据是通过将中国高分2号卫星获得的0.8m全色数据和2m多光谱数据进行积分获得的。之后通过系列操作提取了200多万个地块。

本实施例对研究区域收集到的2019年全年的哨兵2号卫星影像，利用Sen2cor模型对其进行大气校正，获得Level-2A级表面反射率产品后，采用基于深度学习的云掩膜算法结合人工目视解译方式，获得研究区域的时序无云影像。根据研究区域内主要农作物的物候信息选取每期哨兵2号无云影像上的对应像元，提取像元在每景影像上的NDVI数据，构成基于时序影像的高维特征向量作为训练样本数据集。

本实施例将研究区域内的作物分为两大类别：夏季收获作物(以下简称夏收，作物生长周期为9、10月份至第二年的5月份)和秋季收获作物(以下简称秋收，作物生长周期为5月份至10、11月份)。夏收作物包括：小麦、油菜，为了保持土壤肥力，夏收作物还包含了较多的休耕地；秋收作物包括：中稻、晚稻、大豆。

本发明的一种面向农作物分类的时间序列特征重建及动态识别方法，针对传统模型无法有效地描述时序特征表达的演变过程以及传统分类方法无法实现对流式获取的遥感作物数据的动态分类的问题，结合附图说明本发明的具体实施方式，流程如下：

步骤1：初始样本数据集构建；

本实施例按照时间顺序将保留的26景影像进行排列，从中选取符合本实施例研究作物类型物候特征的像元集合，赋予其解译的作物类型标签。之后，计算像元集合内所有像元在每景影像上的NDVI，结合标签，构成时序NDVI数据集作为初始样本数据集。由于保留影像中依然有存在云和云阴影影响的影像，时序特征在部分维度上缺失，因此，获取的数据集含有缺失数据。本实施例提取样本数据集2000条，获取验证数据集1227条，验证数据集中夏收作物样本500条，秋收作物样本727条。

步骤2：缺失数据区域预测填充；

根据夏收作物与秋收作物的生命周期，将步骤1获得的数据集按照作物类型分为夏收作物样本数据集和秋收作物样本数据集。由于秋收作物生命周期从5月份开始，需要进行5月之前的时序特征的缺失数据区域填充，秋收作物特征包含了所有的26景日期。本实施例以对秋收作物的分类作说明，用r(1＜r≤R)表示当前填充的特征维度，前r-1维特征的缺失区域已填充完毕，其中，第1维特征使用其他非学习方式填充，其他维度特征使用后续步骤进行填充。后续步骤以秋收作物数据集第14维特征(日期为7月24日)为例作说明，其中，训练数据集在该维特征上数据缺失的样本为342条，无缺失样本为1658条。验证数据集在该维特征上的数据缺失样本为101条，无缺失样本为626条。

利用LSTM网络构建第14维特征的回归器模型

步骤3：缺失数据区域取值范围取值填充；

本步骤以秋收作物中稻为例。计算训练集1658条无缺失样本中类型为中稻的样本在第14维特征上的均值和标准差，取参数λ为2，获得中稻在该维度上的取值范围。

之后，使用这1658条无缺失样本训练分类器模型

对待重新填充样本集中的每一个样本，先从中稻的取值范围中取最小值填充到该样本的第14维特征上，之后每次以0.01的步长取值填充。每填充一个数值，就将当前重新填充的样本输入

从记录的分类概率中选择最大概率对应的填充值作为当前样本第14维特征上的最优填充值。

分别以同样的方式填充样本类型为晚稻和大豆的待重新填充样本集。所有待重新填充的样本集获得最优填充值后，将得到一个新的前14维特征无缺失的2000条样本集。

步骤4：回归器与分类器迭代；

利用步骤3中得到的新的前14维特征无缺失的2000条样本集训练回归器模型，获得一个经过迭代的回归器模型

以步骤3中得到的新的前14维特征无缺失的2000条样本集训练分类器模型，得到一个经过迭代的分类器模型

步骤5：动态分类；

重复步骤2至步骤4，进行第15维特征的回归器与分类器的构建，直到所有26维特征的回归器与分类器的建立完毕。实现数据缺失部分的重建和农作物分类，完成农作物的动态识别。

上述过程主要说明了本发明使用的方法的具体实施过程。

本实施例中包含夏收和秋收两大类作物，分别对这两大类作物执行上述步骤操作，得到夏收作物与秋收作物的分类器模型和回归器模型，利用这两种模型对研究区域进行分类预测，选取预测的部分区域，得到如图4(a)～图4(h)的分类结果，从中可以看出夏收作物与秋收作物的分类均较准确，说明了本发明方法的有效性。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也给予本领域技术人员根据本发明构思所能够想到的等同技术手段。