基于机器视觉的树木种类识别方法及装置

摘要

一种基于机器视觉的树木种类识别方法及装置，该方法包括：获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息(201)；处理所述地表图像信息，得到包含地表语义信息的特征图(202)；根据所述特征图得到树木种类的识别结果(203)。该方法实现了根据地表图像信息自动获得识别树木种类，与基于人工识别的方法识别树木种类相比，降低了人力成本，提高了识别效率。

说明书

技术领域

本申请涉及人工智能领域，尤其涉及一种基于机器视觉的树木种类识别方法及装置。

背景技术

随着农业自动化的不断发展，农机的应用越来越广泛，存在需要获知一片区域内树木种类的场景。

现有技术中，通常采用人工识别的方法来获知树木的种类。具体的，可以由对树木种类熟悉的测量人员实地观测一片区域内所含树木的种类，并将观测结果逐个标记在该片区域的地图中。

但是，通过人工识别的方法识别树木种类，存在人力成本高、识别效率低的问题。

发明内容

本申请实施例提供一种基于机器视觉的树木种类识别方法及装置，用以解决现有技术中通过人工识别的方法识别树木种类，存在人力成本高、识别效率低的问题。

第一方面，本申请实施例提供一种基于机器视觉的树木种类识别方法，所述方法包括：

获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息和深度图信息；

处理所述地表图像信息，得到包含地表语义信息的特征图；

根据所述特征图得到树木种类的识别结果。

第二方面，本申请实施例提供一种基于机器的视觉的树木种类识别方法，所述方法包括：

获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息；

处理所述地表图像信息，得到包含地表语义信息的特征图；

根据所述特征图得到树木种类的识别结果。

第三方面，本申请实施例提供一种基于机器的视觉的树木种类识别装置，包括：处理器和存储器；所述存储器，用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息和深度图信息；

处理所述地表图像信息，得到包含地表语义信息的特征图；

根据所述特征图得到树木种类的识别结果。

第四方面，本申请实施例提供一种基于机器的视觉的树木种类识别装置，包括：处理器和存储器；所述存储器，用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息；

处理所述地表图像信息，得到包含地表语义信息的特征图；

根据所述特征图得到树木种类的识别结果。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第二方面任一项所述的方法。

第七方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。

第八方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第二方面任一项所述的方法。

本申请实施例提供一种基于机器视觉的树木种类识别方法及装置，通过获得包括多个颜色通道的图像信息的地表图像信息，处理地表图像信息，得到包含地表语义信息的特征图，并根据特征图得到树木种类的识别结果，可以实现根据地表图像信息自动获得识别树木种类，与基于人工识别的方法识别树木种类相比，降低了人力成本，提高了识别效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的种基于机器的视觉的树木种类识别方法的应用场景示意图；

图2为本申请一实施例提供的基于机器视觉的树木种类识别方法的流程示意图；

图3为本申请另一实施例提供的基于机器视觉的树木种类识别方法的流程示意图；

图4为本申请实施例提供的基于机器视觉的树木种类识别方法的处理框图一；

图5为本申请实施例提供的预设神经网络模型包括第一和第二预设神经网络模型的示意图；

图6为本发明实施例提供的预设神经网络模型的计算节点的结构示意图一；

图7为本发明实施例提供的预设神经网络模型的计算节点的结构示意图二；

图8为本申请又一实施例提供的基于机器视觉的树木种类识别方法的流程示意图；

图9为本申请又一实施例提供的基于机器视觉的树木种类识别方法的流程示意图；

图10为本申请实施例提供的基于机器视觉的树木种类识别方法的处理框图二；

图11A-图11D为本申请一实施例提供的基于机器视觉的树木种类识别方法中展示其他树木信息的示意图；

图12A-图12C为本申请一实施例提供的根据识别获得的树木信息规划植保无人机飞行路线的示意图；

图13为本申请一实施例提供的基于机器视觉的树木种类识别装置的结构示意图；

图14为本申请另一实施例提供的基于机器视觉的树木种类识别装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的基于机器视觉的树木种类识别方法可以应用于任何需要识别树木种类的场景，该方法具体可以由基于机器视觉的树木种类识别装置执行。该方法的应用场景可以如图1所示，具体的，基于机器视觉的树木种类识别装置11可以从其他装置/设备12获得地表图像信息，并对地表图像信息采用本申请实施例提供的基于机器视觉的树木种类识别方法进行处理。对于基于机器视觉的树木种类识别装置11与其他装置/设备12通讯连接的具体方式，本申请可以不做限定，例如可以基于蓝牙接口实现无线通讯连接，或者基于RS232接口实现有线通讯连接。

需要说明的是，对于包括基于机器视觉的树木种类识别装置的设备的类型，本申请实施例可以不做限定，该设备例如可以为台式机、一体机、笔记本电脑、掌上电脑、平板电脑、智能手机、带屏遥控器、无人机等。

需要说明的是，图1中以基于机器视觉的树木种类识别装置从其他装置或设备获得地表图像信息为例，可替换的，基于机器视觉的树木种类识别装置可以通过其他方式获得地表图像信息，示例性的，基于机器视觉的树木种类识别装置可以生成地表图像信息。

本申请实施例提供的基于机器视觉的树木种类识别方法，通过处理地表图像信息，得到包含地表语音信息的特征图，并根据特征图得到树木种类的识别结果，可以实现根据地表图像信息自动获得识别树木种类，与基于人工识别的方法识别树木种类相比，降低了人力成本，提高了识别效率。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图2为本申请一实施例提供的基于机器视觉的树木种类识别方法的流程示意图，本实施例的执行主体可以为基于机器视觉的树木种类识别装置，具体可以为该装置的处理器。如图2所示，本实施例的方法可以包括：

步骤201，获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息。

本步骤中，为了避免由于视角导致树木之间的遮挡，从而导致树木种类识别结果不准确的问题，例如待识别区域中混载有多种果树，地表图像信息中只包括了部分树木种类，从而导致最终只识别出部分树木种类，可选的，所述地表图像信息对应的视角可以为俯视视角。

颜色通道可以与地表图像信息的颜色空间对应，示例性的，当地表图像信息的颜色空间为红(Red，R)绿(green，G)蓝(Blue，B)颜色空间时，所述多个颜色通道包括R通道、G通道和B通道。

对于获得地表图像信息的具体方式，本申请可以不做限定。可选的，可以通过无人机上设置的拍摄装置，拍摄获得地表图像信息。示例性的，无人机可以定高飞行并以航拍视角采集地表图像信息。

步骤202，处理所述地表图像信息，得到包含地表语义信息的特征图。

本步骤中，特征图的尺寸与所述地表图像信息的尺寸相同，例如，均为100乘200。示例性的，特征图包含地表语义信息的具体方式可以为特征图中的像素值可以表征对应像素的地表语义，其中，地表语义可以包括能够识别出的地表对象类别。

其中，能够识别出的地表对象类别可以包括多个树木种类，示例性的具体可以包括多个果树种类，例如梨树、苹果树、香蕉树、桂圆树等。可选的，能够识别出的地表对象类别还可以包括树木之外的其他类别，例如道路、建筑物、电线杆、稻田、水面等。

例如，假设像素值为1可以表示梨树、像素值为2可以表示苹果树、像素值为3可以表示香蕉树、像素值为4可以表示桂圆树，则处理地表图像信息所得到的特征图中，像素值为1的像素位置即为识别为梨树的像素位置，像素值为2的像素位置即为识别为苹果树的像素位置，像素值为3的像素位置即为识别为香蕉树的像素位置，像素值为4的像素位置即为识别为桂圆树的像素位置。

示例性的，可以基于地表对象的特征，对地表图像信息进行处理，识别出不同类别的地表对象，从而获得特征图。以地表对象为果树为例，地表对象的特征例如可以包括树木的颜色、树木的形态、树叶的形状、果实的颜色、果实的形状等。

步骤203，根据所述特征图得到树木种类的识别结果。

本步骤中，由于特征图中包含了地表语义信息，而地表语义可以区分多个种类的树木，因此，根据特征图可以得到树木种类的识别结果。示例性的，树木种类的识别结果可以为树木种类的数量，例如，假设特征图的像素值包括1、2和4，则树木种类的识别结果可以为3。示例性的，树木种类的识别结果可以为具体的树木种类，例如，假设特征图的像素值包括1、2和4，则树木种类的识别结果可以为梨树、苹果树和桂圆树。

本实施例中，通过获得包括多个颜色通道的图像信息的地表图像信息，处理地表图像信息，得到包含地表语义信息的特征图，并根据特征图得到树木种类的识别结果，可以实现根据地表图像信息自动获得识别树木种类，与基于人工识别的方法识别树木种类相比，降低了人力成本，提高了识别效率。

图3为本申请另一实施例提供的基于机器视觉的树木种类识别方法的流程示意图，本实施例在图2所示实施例的基础上，主要描述了处理地表图像信息，得到包含地表语义信息的特征图的一种可选的实现方式，如图3所示，本实施例的方法可以包括：

步骤301，获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息。

本步骤中，可选的，所述地表图像信息还可以包括深度图(Depth Map)信息。所述深度图信息与所述多个颜色通道的图像信息对应，示例性的，可以根据所述多个颜色通道的图像信息，生成所述深度图像信息。通过所述地表图像信息还包括深度图信息，可以在进行树木种类识别时考虑地表对象的高度因素，以提高识别的准确性，例如，根据深度图信息可以区分树木和草地。

步骤302，处理所述地表图像信息，得到地表语义与像素位置信息的对应关系。

本步骤中，对于不能够识别出类别的地表对象，其对应的地表语义可以为“其他”，以区别于能够识别出类别的地表对象，因此对于地表图像信息中的各像素，要么可识别为梨树、苹果树、香蕉树、桂圆树等具体的类别，要么可识别为“其他”，因此通过对地表图像信息可以识别出地表图像信息中的各像素可对应的语义，从而得到地表语义与像素位置信息的对应关系。例如，地表图像信息的宽度为100像素，梨树可以对应第1行至第20行的像素位置，苹果树可以对应第21行至第80行的像素位置，“其他”可以对应第81行至第100行的像素位置。

可选的，可以通过预设神经网络模型处理所述地表图像信息。示例性的，步骤302具体可以包括如下步骤A和步骤B。

步骤A，将所述地表图像信息输入预设神经网络模型，得到所述预设神经网络模型的模型输出结果。

所述模型输出结果可以包括多个输出通道分别输出的置信度特征图，所述多个输出通道可以与多个地表对象类别一一对应，所述多个地表对象类别可以包括多个树木种类，单个地表对象类别的置信度特征图的像素值用于表征像素是所述地表对象类别的概率。例如，假设树木种类的个数为3，分别为苹果树、梨树和桃树，且对应苹果树的输出通道输出置信度特征图1、对应梨树的输出通道输出置信度特征图2、对应桃树的输出通道输出置信度特征图3，则置信度特征图1中的像素值可以表征像素是苹果树的概率，置信度特征图2中的像素值可以表征像素是梨树的概率，置信度特征图3中的像素值可以表征像素是桃树的概率。需要说明的是，本申请实施例中一个像素是一个地表对象类别，可以理解为该像素的像素位置是识别为该地表对象类别的像素位置。

可选的，所述模型输出结果还可以包括所述多个树木种类之外的其他地表对象类别的置信度特征图，例如，建筑物的置信度特征图，该置信度特征图中的像素值可以表征像素是建筑物的概率。

步骤B，根据所述模型输出结果，得到树木种类的像素位置信息。

本步骤中，示例性的，可以将多个置信度特征图中同一像素位置像素值最大的置信度特征图对应的地表对象类别，作为所述像素位置的地表对象类别。其中，所述多个置信度特征图与上述多个输出通道一一对应。

假设，所述预设神经网络模型的输出通道的个数为4，4个置信度特征图分别为置信度特征图1至置信度特征图4，且置信度特征图1对应桃树、置信度特征图2对应梨树、置信度特征图3对应苹果树、置信度特征图4对应“其他”。例如，当置信度特征图1中像素位置(100,100)的像素值是70，置信度特征图2中像素位置(100,100)的像素值是50，置信度特征图3中像素位置(100,100)的像素值是20，置信度特征图4中像素位置(100,100)的像素值是20时，可以确定像素位置(100,100)对应桃树，即桃树的像素位置信息包括(100,100)。又例如，当置信度特征图1中像素位置(100,80)的像素值是20，置信度特征图2中像素位置(100,80)的像素值是30，置信度特征图3中像素位置(100,80)的像素值是20，置信度特征图4中像素位置(100,80)的像素值是70时，可以确定对应“其他”，即像素位置(100,80)不是桃树、梨树和苹果树中的任意一种。

示例性的，所述预设神经网络模型具体可以为卷积神经网络(ConvolutionalNeural Networks，CNN)模型。

可选的，所述预设神经网络模型可以为单个的神经网络模型。考虑到在所述神经网络模型需要识别的地表对象类别越多时，不同地表对象类别之间存在相近特征的概率越大，需要从相近的特征中区分出不同地表对象类别的难度也越大，如果只采用单个的神经网络模型，该神经网络模型的规模会比较大，运行该神经网络模型时耗费的资源也会比较多，因此为了解决这一问题，可替换的，所述预设神经网络模型可以包括多个神经网络模型。

示例性的，所述预设神经网络模型可以包括第一预设神经网络模型和至少两个第二预设神经网络模型。所述第一预设神经网络模型和所述第二预设网络模型串联，所述至少两个第二预设网络模型并联。其中，所述第一预设神经网络模型可以用于区分多个树木种类，所述多个树木种类中的部分树木种类或全部树木种类划分为至少两个树木种类集合；所述第二预设神经网络模型与所述树木种类集合一一对应，所述第二预设神经网络模型用于区分对应树木种类集合中的树木种类。

第一预设神经网络模型区分同一树木种类集合中树木种类的准确度较低，第二预设神经网络模型区分对应树木种类集合中树木种类的准确度较高。示例性的，同一树木种类集合中的树木种类可以为特征相似的树木种类。例如，可以将梨树和苹果树可以作为一个树木种类集合，龙眼树和桂圆树可以作为一个树木种类集合。

如图4所示，地表图像信息可以包括RGB图像信息以及根据该RGB图像信息得到的深度图信息，当地表图像信息的输入CNN模型之后，可以由第一预设神经网络模型识别龙眼树、桂圆树、苹果树和梨树。由于龙眼树和桂圆树特征相似，苹果树和梨树特征相似，第一预设神经网络模型无法准确区分龙眼树和桂圆树对应的树木种类集合1，以及苹果树和梨树对应的树木种类集合2，进一步可以由能够区分龙眼树和桂圆树的第二预设神经网络模型1对树木种类集合1中的树木种类进行进一步识别，从而准确区分出龙眼树和桂圆树，由能够区分梨树和苹果树的第二预设神经网络模型对树木种类集合2中的树木种类进行进一步识别，从而准确区分出苹果树和梨树。

需要说明的是，图4中以一个树木种类集合中树木种类的个数为两个为例，一个树木种类集合中树木种类的个数也可以大于两个。

通过预设神经网络模型包括第一预设神经网络模型和至少两个第二预设神经网络模型，不但可以确保识别结果的准确性，而且由于并不要求第一预设神经网络对同一树木种类集合中不同树木种类识别的准确性，因此第一预设神经网络模型的规模可以较小，由于第二预设神经网络模型只需要确保对对应树木种类集合中不同树木种类识别的准确性，因此第二预设神经网络模型的规模非常小，从而可以避免预设神经网络模型是单个的神经网络模型所导致的规模过大问题。

示例性的，步骤A具体可以包括如下步骤A1和步骤A2。

步骤A1、将所述地表图像信息输入第一预设神经网络模型，得到所述第一预设神经网络模型的第一模型输出结果。

步骤A2、将所述第一预设神经网络模型中的目标特征图(feature map)，输入所述第二预设神经网络模型，得到所述第二预设神经网络模型的第二模型输出结果。

其中，所述目标特征图为所述第一预设神经网络模型的输出层的输入特征图，所述输出层用于输出所述第一模型输出结果。示例性的，在所述第一预设神经网络模型是卷积神经网络时，所述第一预设神经网络的输出层具体可以全连接层。

在将第一预设神经网络模型的第一层称为输入层，最后一层称为输出层，其他层称为中间层时，第一预设神经网络模型与第二神经网络模型的连接关系可以如图5所示。如图5所示，地表图像信息在将第一预设神经网络模型进行处理后，可以得到第一模型输出结果，第一预设神经网络模型中的目标特征图可以作为第二预设神经网络模型的输入。目标特征图在经过第二预设神经网络模型的处理后，可以得到第二模型输出结果。

需要说明的是，对于树木种类集合中的树木种类，其对应的输出通道可以为第二预设神经网络模型的输出通道，此时，预设神经网络模型的模型输出结果可以包括第二模型输出结果。对于除树木种类集合中的树木种类之外的其他地表对象，其对应的输出通道可以为第一预设神经网络模型的输出通道，此时，预设神经网络模型的模型输出结果可以包括第一模型输出结果。

为了减小运算量，可选的，步骤A2具体可以包括：根据所述第一模型输出结果，确定所述地表图像信息中包括的目标树木种类；将所述目标特征图，输入与所述目标树木种类对应的目标第二预设神经网络模型。

与目标树木种类对应的目标第二预设神经网络模型，可以理解为用于区分目标树木种类的第二预设神经网络模型。例如，当第一预设神经网络模型识别出地表图像信息中包括龙眼树时，为了避免将桂圆树误识别为龙眼树，进一步可以将目标特征图输入至用于区分龙眼树和桂圆树的目标第二预设神经网络模型进行进一步的识别。

可选的，所述将所述目标特征图，输入所述目标第二预设神经网络模型，具体可以包括：根据所述第一模型输出结果，确定识别为所述目标树木种类的目标像素；从所述目标特征图中裁剪出包括所述目标像素的裁剪后特征图；将所述裁剪后特征图，输入所述目标第二预设神经网络模型。所述裁剪后特征图可以理解为部分目标特征图。通过从目标特征图中裁剪出包括目标像素的裁剪后特征图，并将裁剪后特征图输入目标第二预设网络模型，可以降低输入目标第二预设神经网络模型的数据量，从而减小计算量。

需要说明的是，所述目标第二预设神经网络模型的个数可以为多个，多个所述目标第二预设神经网络模型与多个所述裁剪后特征图一一对应。例如，假设目标第二预设神经网络模型包括目标第二预设神经网络模型1和目标第二预设神经网络模型2，且目标第二预设神经网络模型1对应目标树木种类1，目标第二预设神经网络模型2对应模板树木种类2，则可以从目特征图中裁剪出包括目标树木种类1的目标像素的裁剪后特征图1，并将裁剪后特征图1输入目标第二预设神经网络模型1，可以从目标特征图中裁剪出包括目标树木种类2的目标像素的裁剪后特征图2，并将裁剪后特征图2输入目标第二预设神经网络模型2。

可选的，本实施例的方法还可以包括：从所述地表图像信息中裁剪出包括所述目标像素的裁剪后地表图像信息；将所述裁剪后地表图像信息，输入所述目标第二预设神经网络模型。所述裁剪后地表图像信息可以理解为部分地表图像信息。通过从地表图像信息中裁剪出包括目标像素的裁剪后地表图像信息，并将裁剪后地表图像信息输入目标第二预设网络模型，使得第二预设神经网络模型可以提取出地表图像信息中的浅层特征，从而可以提高识别结果的准确性。

与裁剪后特征图类似，当所述目标第二预设神经网络模型的个数可以为多个，多个所述目标第二预设神经网络模型可以与多个所述裁剪后地表图像信息一一对应。

示例性的，上述预设神经网络模型中计算节点的结构具体可以为：计算节点可以包括卷积(Conv)层和池化(Pooling)层，所述卷积层和所述池化层并联。通过卷积层和池化层并联，可以提取地表图像信息中的浅层信息，避免浅层特征(例如，边缘)的丢失，可以提高分割效果。

示例性的，单个计算节点中卷积层的个数可以为多个。以每个卷积层可以设置对应的批量归一化(Batch Normalization，BN)和激活函数ReLU，且多个卷积层串联为例，计算节点的结构例如可以如图6所示。如图6所示，输入数据经过上一级卷积(Conv)层、BN层和ReLU处理后得到的中间数据，可以输入下一级卷积层、BN层和ReLU进行处理，最后一组卷积层、BN层和ReLU处理后得到的中间数据可以与输入数据经过池化层处理后得到的中间数据进行连接(concatenate)，从而得到计算节点的输出数据。

可选的，为了提取不同粒度的特征，单个计算节点的多个所述卷积层中可以包括卷积核大小不同的至少两个卷积层。以多个卷积层并联为例，计算节点的结构例如可以如图7所示。如图7所示，输入数据经卷积核为1乘1的卷积层处理后得到的数据、经卷积核为3乘3且扩张率为6的卷积层处理后得到的中间数据、经卷积核为3乘3且扩张率为12的卷积层处理后得到的中间数据、经卷积核为3乘3且扩张率为18的卷积层处理后得到的中间数据以及经池化层处理后得到的中间数据，经过连接可以得到计算节点的输出数据。需要说明的是，扩张率(dilation rate)为空洞卷积(atrous convolutions)的卷积层参数。

可选的，步骤A之前，还可以包括：对所述地表图像信息进行预处理，获得预处理后的地表图像信息；相应的，步骤A具体可以包括：将所述预处理后的地表图像信息输入预设神经网络模型。示例性的，预处理可以包括降噪处理，通过对所述地表图像信息进行降噪可以清除地表图像信息中的噪声。示例性的，预处理可以包括下采样处理，通过下采样处理可以减小数据量，提高处理速度。示例性的，预处理可以包括归一化处理。

步骤303，根据地表语义与像素位置信息的对应关系，得到包含地表语义信息的特征图。

本步骤中，示例性的，可以根据地表语义与像素位置信息的对应关系，将对应同一地表语义的像素位置的像素值设置为同一值，将对应不同地表语义的像素位置的像素值设置为不同值，得到包含地表语义信息的特征图。

步骤304，所述根据所述特征图得到树木种类的识别结果。

本步骤中，示例性的，步骤304具体可以包括：根据所述特征图，获得树木种类与像素区域的对应关系，以得到树木种类的识别结果。即，可以将树木种类与像素区域的对应关系，作为树木种类的识别结果，其中，一个树木种类对应的像素区域中可以包括地表语义为该像素种类的像素位置。以地表图像信息中包括梨树和苹果树为例，根据特征图得到的树木种类的识别结果可以为梨树对应像素区域a，苹果树对应像素区域b，即像素区域a中的树木种类包括梨树，像素区域b中的树木种类包括苹果树。

本实施例中，通过处理包括多个通道的图像信息的地表图像信息，得到地表语义与像素位置信息的对应关系，根据地表语义与像素位置信息的对应关系，得到包含地表语义信息的特征图，并根据特征图得到树木种类的识别结果，实现了根据地表图像信息自动获得识别树木种类，与基于人工识别的方法识别树木种类相比，降低了人力成本，提高了识别效率。

可选的，为了便于用户查看树木种类的识别结果，在上述实施例的基础上，还可以包括：展示所述树木种类的识别结果。示例性的，所述展示所述树木种类的识别结果，包括：在目标图像中标注所述对应关系得到标注后的图像，并展示所述标注后的图像。

进一步可选的，还可以包括如下步骤：获取用户根据所展示的所述标注后的图像输入的修改操作，以生成修改指令，所述修改指令用于修改所述标注后的图像中树木种类对应的像素区域；根据所述修改操作，修改所述标注后的图像中树木种类对应的像素区域。通过获取修改操作并根据修改操作修改标注后的图像中树木种类的像素区域，允许用户对树木种类对应的像素区域进行修改，从而可以提高灵活性。

可选的，所述目标图像包括下述中的一种或多种：全黑图像、全白图像、所述地表图像信息对应的图像、三维语义地图。其中，全黑图像可以为各像素的R值、G值和B值均为0的图像，全白图像可以为各像素的R值、G值和B值均为255的图像。

为了提高树木识别的多样性，在上述方法实施例的基础上，还可以进一步识别其他树木信息。示例性的，在上述方法实施例的基础上，进一步的还可以包括如下步骤：处理所述地表图像信息，以获得树心的像素位置信息。

图8为本申请又一实施例提供的基于机器视觉的树木种类识别方法的流程示意图，本实施例在上述方法实施例的基础上，主要描述了识别树木种类之外的其他树木信息的一种可选的实现方式，如图8所示，本实施例的方法可以包括：

步骤801，将地表图像信息输入预设神经网络模型’，得到预设神经网络模型’的模型输出结果，所述模型输出结果包括置信度特征图。

本步骤中，示例性的，预设神经网络模型’可以为卷积神经网络模型，可选的，预设神经网络模型’具体可以为全卷积神经网络模型。预设神经网络模型’的输出可以为用于确定其他树木信息的中间结果，该预设神经网络模型’可以根据样本图像信息以该样本图像信息对应的目标结果训练获得。

需要说明的是，地表图像信息的类型与样本图像信息的类型可以一致。示例性的，在样本图像信息包括RGB图像信息时，上述地表图像信息可以包括RGB图像；示例性的，在样本图像信息包括深度图信息时，上述地表图像信息可以包括深度图信息。

目标结果可以包括目标置信度特征图，目标置信度特征图中像素值表征像素是树心的概率。例如，目标置信度特征图中像素1的像素值为0.5，可以表征像素1是树心的概率为0.5。再例如，目标置信度特征图中像素2的像素值为0.8，可以表征像素2是树心的概率为0.8。又例如，目标置信度特征图中像素3的像素值为1.1，可以表征像素3是树心的概率为1。

其中，目标置信度特征图与输入预设神经网络模型’的样本图像信息的尺寸可以相同，例如均为150乘200的图像，即目标置信度特征图的像素可以与输入预设神经网络模型’的样本图像信息的像素一一对应。

目标置信度特征图可以根据用户标记以及概率生成算法生成。具体的，可以根据用户标记确定目标置信度特征图中对应样本图像信息中树心位置的像素(以下称为树心像素)，进一步的根据概率生成算法，确定目标置信度特征图中各像素的像素值。

示例性的，可以根据树心像素的像素值为1，非树心像素的像素值为0的概率生成算法，确定目标置信度特征图中各像素的像素值。

示例性的，可以根据像素值以树心像素为中心满足预设分布的概率生成算法，确定目标置信度特征图中各像素的像素值，即，目标置信度特征图中像素值以树心像素为中心满足预设分布。

其中，所述预设分布用于区分靠近所述树心像素的区域和远离所述树心像素的区域。由于靠近树心像素的像素，其偏离树心像素的距离较小，将其识别为树心像素时不会偏离真实的树心像素过大，而远离树心像素的像素值，其偏移树心像素的距离较大，将其识别为树心像素时会偏移真实的树心像素过大，因此通过预设分布区分靠近和远离树心像素的区域，可以实现将靠近树心像素的区域中的像素作为树木识别过程中后补的树心像素，从而可以使得预设神经网络具有鲁莽性，例如，即使未成功识别出真实的树心位置，但是可以将真实的树心位置周围的位置识别为树心位置。

其中，预设分布具体可以为能够区分远离树心像素的区域和靠近树心像素的区域的任意类型分布。示例性的，考虑到距离树心像素的距离越近，则识别为树心像素所带来的误差越小，因此为了提高预设神经网络模型’识别的精度，可选的，预设分布具体可以为呈中间高两边低的钟形曲线的分布方式。示例性的，预设分布可以包括圆高斯分布或类圆高斯分布。

示例性的，所述预设分布的参数可以根据预设策略设置，所述预设策略包括靠近所述树心像素的区域满足下述条件中的至少一个：能够区分相邻两棵树、区域面积最大化。其中，通过预设策略包括靠近树心像素的区域满足能够区分相邻两棵树的条件，可以使得预设神经网络能够识别相邻的树木，从而提高了预设神经网络的可靠性。通过预设策略包括靠近树心像素的区域满足区域面积最大化的条件，可以尽可能的提高预设神经网络的鲁棒性。

示例性的，可以根据预设策略设置圆高斯分布的标准差。例如，首先可以将一个较大的初始值作为圆高斯分布的标准差，标准差为该初始值时相邻两棵树被识别为一棵树，然后不断减小标准差的取值直至可以将相邻两棵树识别为两棵树而不是一棵树，从而确定出圆高斯分布的标准差最终值。

步骤802，根据所述模型输出结果，确定所述地表图像信息的其他树木信息，所述其他树木信息包括树心的像素位置信息。

本步骤中置信度特征图中的像素值可以表征对应像素是树心的概率，根据各像素是树心的概率取值，可以识别出置信度特征图中树心对应的像素，由于置信度特征图中的像素与地表图像信息中的像素一一对应，因此可以根据置信度特征图中树心对应的像素的位置信息(即，像素位置信息)确定地表图像信息中树心的像素位置信息，示例性的，可以将置信度特征图中树心对应的像素位置信息作为地表图像信息中树心的像素位置信息。

示例性的，所述根据所述置信度特征图，确定地表图像信息中树心的像素位置信息，包括：采用预设尺寸的滑动窗口，对所述置信度特征图进行滑窗处理，得到滑窗处理后的所述置信度特征图；所述滑窗处理包括将窗口内的非最大值设置为预设值，所述预设值小于目标阈值；将滑窗处理后的所述置信度特征图中像素值大于所述目标阈值的像素位置信息，确定为所述地表图像信息中树心的像素位置信息。

示例性的，滑动窗口的形状可以为正方形或长方形。

示例性的，可以采用滑动窗口的方式，遍历整个置信度特征图。需要说明的是，对于滑动窗口遍历整个置信度特征图的具体方式，本申请可以不作限定。例如可以以置信度特征图的图像坐标系中的原点为滑动窗口的起点，先沿着横坐标轴滑动至图像边缘，然后沿着纵坐标轴滑动一个步长，之后再次沿着横坐标轴滑动至图像边缘，……，直至遍历整个置信度特征图。

为了避免由于滑动窗口过大导致相邻两棵树被识别为一棵树，从而导致识别准确性较差的问题，所述预设尺寸满足能够区分相邻两棵树的条件，即预设尺寸不能过大。在预设尺寸过小时，由于滑动窗口移动次数较多，存在运算量较大的问题，因此可以对滑动窗口的尺寸进行合理设置。示例性的，预设尺寸可以为5乘5大小。

目标阈值可以理解为决定一个像素值对应的像素位置是否为树心位置的门限。示例性的，目标阈值可以根据置信度特征图中像素值的取值特点确定，例如靠近树心位置的像素的像素值通常为0.7、0.8，则目标阈值可以取小于0.7、0.8的值，例如可以为0.3。

上述将窗口内的非最大值设置为预设值，由于预设值小于目标阈值，因此可以在对应真实树心位置的像素以及该像素附近的其他像素的像素值均较大时，避免将一棵树木识别为多棵树木，即可以避免针对一棵树木识别出多个树心位置。为了便于计算，预设值可以为0。

本实施例中，通过预设处理模型处理包括树木的地表图像信息，以获得地表图像信息中的其他树木信息，其他树木信息包括树心的像素位置信息，实现了根据包含树木的地表图像信息自动获得树心位置，与基于人工识别的方法确定树心位置相比，降低了人力成本，提高了识别效率。

图9为本申请又一实施例提供的基于机器视觉的树木种类识别方法的流程示意图，本实施例在图8所示实施例的基础上主要描述了识别树木种类之外的其他树木信息的另一种可选的实现方式。如图9所示，本实施例的方法可以包括：

步骤901，将地表图像信息输入预设神经网络模型’，得到所述预设神经网络模型’的模型输出结果，所述模型输出结果包括置信度特征图和树径特征图。

本步骤中，可选的，所述预设神经网络是基于样本图像信息以及所述样本图像信息对应的目标结果训练获得，所述目标结果包括目标置信度特征图和目标树径特征图。

其中，关于目标置信度特征图的相关描述可以参见图8所示实施例，在此不再赘述。所述目标树径特征图中与所述目标置信度特征图中树心像素对应像素的像素值表征树冠半径(可以简称为树径)。目标树径特征图与目标置信度特征图的尺寸可以相同，例如均为150乘200的图像，因此，目标树径特征图的像素可以与目标置信度特征图的像素一一对应。示例性的，目标树径特征图中的坐标为(100,100)的像素可以与目标置信度特征图中坐标为(100,100)的像素对应，当目标置信度特征图中坐标为(100,100)的像素为树心像素时，目标树径特征图中的坐标为(100,100)的像素的像素值可以表征该树心像素对应树木的树径。

需要说明的是，对于目标树径特征图中除与树心像素对应的其他像素，其像素值没有特定含义，因此可以不关心其他像素的像素值，示例性的，可以将其他像素的像素值设置为0。

步骤902，根据所述模型输出结果，确定所述地表图像信息中的其他树木信息，所述其他树木信息包括树心的像素位置信息以及与所述树心对应的树径信息。

本步骤中，示例性的，步骤902具体可以包括：根据所述置信度特征图，获得所述地表图像信息中树心的像素位置信息；根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息。其中，关于根据置信度特征图获得树心的像素位置信息的相关描述可以参见图8所示实施例，在此不再赘述。

其中，树径特征图中的像素与置信度特征图中的像素一一对应，树径特征图中一个像素的像素值，可以表示置信度特征图中与该像素对应像素是树心时相对应的树径信息，因此可以根据置信度特征图中树心对应的像素，从树径特征图中确定出该树心的树径信息。

示例性的，所述根据所述树心位置信息以及所述树径特征图，确定所述树木的树径信息，具体可以包括如下步骤C和步骤D。

步骤C，根据所述树心位置信息，确定所述树径特征图中与所述树心位置信息对应的目标像素。

例如，假设根据置信度特征图识别出两个树木，分别记为树木1和树木2，且树木1的树心位置信息为置信度特征图中坐标位置(100,200)，树木2的树心位置信息为置信度特征图中坐标位置(50,100)，则可以将该置信度特征图对应的树径特征图中坐标位置(100，200)的像素作为与树木1的像素位置信息对应的目标像素，将该置信度特征图对应的树径特征图中坐标位置(50,100)的像素作为与树木2的像素位置信息对应的目标像素。

步骤D，根据所述目标像素的像素值，确定所述树木的树径信息。

示例性的，在树径特征图中的像素值等于树径信息时，可以将目标像素的像素值作为其他树木信息。

示例性的，为了提高预设神经网络的处理速度，树径特征图中的像素值可以为归一化的像素值，例如，假设树木的最高高度为160米，则树径特征图中像素值可以为根据160进行归一化之后的结果。相应的，所述根据所述目标像素的像素值，确定所述树木的树径信息，具体可以包括：对所述目标像素的像素值进行反归一化，得到所述树木的树径信息。例如，假设目标像素的像素值为0.5，则进行反归一化之后树径信息可以为160×0.5＝80米。

以地表图像信息包括RGB图像和深度图像，预设神经网络模型’为全卷积神经网络模型为例，步骤901和步骤902对应的处理框图可以如图10所示。如图10所示，可以将RGB图像信息和深度图信息分别输入全卷积神经网络模型，得到置信度特征图和树径特征图。进一步的，可以根据置信度特征图确定树心的像素位置信息，根据树心的像素位置信息以及树径特征图可以确定该树心的树径信息。

本实施例中，通过将地表图像信息输入预设神经网络模型’，得到预设神经网络模型’的输出结果，基于预设神经网络的处理，对地表图像信息中的语义进行区分，获得像素是树心的概率(即置信度特征图)以及像素是树心时的树径此信息(即树径特征图)，进一步获得树心的像素位置信息以及与该树心对应的树径信息，实现了根据包含树木的地表图像信息通过预设神经网络模型’自动获得树心位置以及树径。

可选的，为了便于用户查看其他树木信息，在上述实施例的基础上，还可以包括如下步骤：展示所述其他树木信息。

示例性的，可以通过直接展示信息内容的方式，展示其他树木信息。例如，假设地表图像信息中包括两棵树木分别为树木1和树木2，且树木1的树心的像素位置信息为地表图像信息中像素a的位置信息且树径信息为20米，树木2的树心的像素位置信息为地表图像信息中像素b的位置信息且对应的树径信息为10米，则可以直接展示像素a在地表图像信息坐标系下的位置坐标和20米、以及像素b在地表图像信息坐标系下的位置坐标和10米。

示例性的，可以通过在地表图像信息上标注展示的方式，展示其他树木信息。例如，假设地表图像信息中包括两棵树木分别为树木1和树木2，且树木1的树心的像素位置信息为像素a的位置信息，树木2的树心的像素位置信息为像素b的位置信息2，则可以在地表图像信息中标注像素a和像素b分别对应的位置。

其中，标注展示的方式与直接展示的方式相比，可读性更强，便于用户获知树心位置。

示例性的，所述展示所述其他树木信息具体可以包括：根据树心的像素位置信息在目标图像中标注树心，获得标注后的图像，并展示所述标注后的图像。

示例性的，所述根据树心的像素位置信息在所述目标图像中标注树心，具体可以包括：根据树心的像素位置信息，在目标图像中所述像素位置信息对应的位置标注树心点。

在其他树木信息包括与树心对应的树径信息时，所述展示所述其他树木信息具体可以包括：根据树心的像素位置信息在目标图像中标注树心，根据与所述树心对应的树径信息在所述目标图像中标注树径，并展示所述标注后的图像。

示例性的，所述根据与所述树心对应的树径信息在所述目标图像中标注树径，具体可以包括：

根据所述树心的像素位置信息以及与所述树心对应的树径信息，在所述目标图像中标注以所述像素位置信息对应的位置为圆心，以所述树径信息对应的长度为半径的圆。

需要说明的是，关于目标图像的具体描述可以参见前述实施例，在此不再赘述。

以目标图像为地表图像信息对应图像为例，展示树心的像素位置信息以及与树心对应的树径信息的具体方式可以如图11A所示，其中，图11A中的点即为标注的树心，图11A中的圆即为标注的树径。通过图11A可以看出，对于树心规则分布的场景，通过本申请实施例提供的方法，可以确定出树心位置以及树径。

以目标图像为地表图像信息对应图像，且所展示的其他树木信息包括树心位置和树径为例，展示的标注后的图像可以如图11B-图11C所示，其中，图11C为对图11B中方框中的局部区域进行放大显示的示意图。通过图11B和图11C可以看出，对于树心分布不规则的场景，通过本申请实施例提供的方法，也可以确定出树心位置以及树径。

以目标图像为全黑图像，且所展示的其他树木信息包括树心位置为例，对应于图11B所示的地表图像信息，展示的标注后的图像可以如图11D所示。

在前述识别树木信息的基础上，为了提高农业自动化，进一步的可以根据识别获得的树木信息进行农机作业规划。树木信息可以包括树心位置、树径或树木种类中的一种或多种。以下主要以植保无人机为例进行具体说明。

示例性的，树心位置可以用于规划植保无人机的飞行路线。例如，如图12A所示，可以根据树心位置，规划能够遍历各树心位置的飞行路线。需要说明的是，图12A中一个圆点可以代表一个树心位置。

在树心位置的基础上，示例性的，树径可以用于规划植保无人机的飞行路线。例如，如图12B所示，对于树径大于一定阈值的树心位置，可以规划植保无人机绕该树心位置飞行一周的飞行路线，对于树径小于或等于该阈值的树心位置，可以规划植保无人机经过该树心位置的飞行路线。进一步的，如图12B所示可以根据树径大于该阈值的具体程度，规划植保无人机绕树心位置飞行的半径。需要说明的是，图12B中一个圆点代表一个树心位置，空心圆点可以代表树径位置一个树心位置，以圆心的虚线圆可以代表树径。

在树心位置的基础上，示例性的，树木种类可以用于规划植保无人机的飞行路线和/或作业参数，其中，作业参数例如可以为喷洒量、喷洒方式等。例如，如图12C所示，不同果树种类可以规划不同的飞行路线。需要说明的是，图12C中一个圆点代表一个树心位置，相同灰度的圆点可以代表同一种果树类型的树心位置。

图13为本申请一实施例提供的基于机器视觉的树木种类识别装置的结构示意图，如图13所示，该装置1300可以包括：处理器1301和存储器1302。

所述存储器1302，用于存储程序代码；

所述处理器1301，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息和深度图信息；

处理所述地表图像信息，得到包含地表语义信息的特征图；

根据所述特征图得到树木种类的识别结果。

本实施例提供的装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。

图14为本申请另一实施例提供的基于机器视觉的树木种类识别装置的结构示意图，如图14所示，该装置1400可以包括：处理器1401和存储器1402。

所述存储器1402，用于存储程序代码；

所述处理器1401，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获得地表图像信息，所述地表图像信息包括多个颜色通道的图像信息；

处理所述地表图像信息，得到包含地表语义信息的特征图；

根据所述特征图得到树木种类的识别结果。

本实施例提供的装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。