基于多维空间特征模型最佳源域的目标标注方法及系统

摘要

本发明公开了一种基于多维空间特征模型最佳源域的目标标注方法，包括：S1，获取不同类别的目标域前景图像；S2，基于不同类别的目标域前景图像进行多维空间特征定量化分析并基于定量化分析后的多维空间特征构建跨类别共性描述模型；基于跨类别共性描述模型获得目标的最佳源域；S3，基于目标的最佳源域进行目标标注。本发明还公开了对应的系统、电子设备以及计算机可读存储介质。本发明建立了一种泛化性更高、域适应性更强，而且能够满足不同类别果实数据集的自动标注方法；能够自动获得目标域目标的标签，从而应用到下游的智慧农业项目中；并且大大减少了人工标注目标框时所产生的费用成本和时间成本。

说明书

技术领域

本发明涉及图像处理以及智能信息提取技术领域，尤其涉及一种基于多维空间特征模型最佳源域的目标标注方法及系统。

背景技术

随着计算机技术的不断发展，对图像进行处理的需求越来越多。其中，图像标注是将图像分成若干个特定的区域，并为每个区域标注特定标签的技术。例如，果园中高性能的果实检测技术是现代化智慧果园实际应用工作中的重要基础技术，可以应用到果实定位、果实分拣、果实产量预测、果实自动采摘等众多智慧果园智能化工作中。

相关技术中，人工对大量样本图像进行标注，得到每个样本图像对应的样本标注信息，根据大量样本图像和对应的样本标注信息，训练图像标注模型，后续即可调用训练好的图像标注模型对任一目标图像进行处理，得到该目标图像对应的标注图像。但是上述方法中，需要人工对大量样本图像进行标注以便训练图像标注模型，耗费人力和时间，导致图像标注效率较低，进而导致图像检测模型的训练效率较低。因此，虽然现阶段基于深度学习的果实检测技术得到了广泛的应用，但是需要依赖大量已标注数据集才能支撑检测模型的训练学习，造成人工标注成本增高。并且由于现阶段深度学习模型泛化性能差的原因，针对模型在不同场景、不同环境、不同拍摄方式以及不同目标种类的应用工作中，需要独立制作新的目标数据集并训练学习新的检测模型，耗时耗力。

因此如何建立一种泛化性更高、域适应性更强的目标数据集的自动标注方法具有迫切的需求。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种基于多维空间特征模型最佳源域的目标标注方法及系统，基于多维空间特征模型确定最佳源域，通过一类源域目标数据集即可对应多类目标域的目标数据集，使得目标图像转换模型对应不同目标域的目标的转换泛化性更高。

本发明第一方面提供了一种基于多维空间特征模型最佳源域的目标标注方法，包括：

S1，获取不同类别的目标域前景图像；

S2，基于所述不同类别的目标域前景图像进行多维空间特征定量化分析并基于定量化分析后的多维空间特征构建跨类别共性描述模型；基于跨类别共性描述模型获得目标的最佳源域；

S3，基于目标的最佳源域进行目标标注。

优选的，所述不同类别的目标域前景图像均可以为计算机设备预先存储的图像，或者由计算机设备从其他设备中下载的图像，或者由其他设备上传至计算机设备中的图像，或者为该计算机设备当前采集到的图像。

优选的，所述S2包括：

S21，从不同类别的目标域前景图像中提取目标的外观特征；

S22，将所述外观特征抽象为特定形状、颜色和纹理，基于多维特征定量化分析方法对于不同的目标特征计算特定形状、颜色和纹理的相对距离作为不同目标个体的外观特征的分析描述集；

S23，基于对分析描述集进行多维特征空间重构和特征差异划分构建跨类别共性描述模型；

S24，基于所述跨类别共性描述模型获得目标的最佳源域。

优选的，所述S22，将所述外观特征抽象为特定形状、颜色和纹理，基于多维特征定量化分析方法对于不同的目标特征计算特定形状、颜色和纹理的相对距离作为不同目标个体的外观特征的分析描述集包括：

S221，基于傅里叶描述子进行目标形状提取，并将傅里叶描述子离散化；

S222，提取目标前景中Lab颜色的空间分布及占比，并绘制CIELab空间颜色分布直方图；

S223，提取目标前景的像素值梯度以及方向导数信息获得基于LBP算法的纹理信息描述；

S224，基于傅里叶描述子离散化、所绘制的CIELab空间颜色分布直方图以及基于LBP算法的纹理信息描述进行基于相关性和空间分布的单一外观特征相对距离计算；

S225，基于所计算的单一外观特征相对距离值构建相对距离矩阵。

优选的，所述S23，基于对分析描述集进行多维特征空间重构和特征差异划分构建跨类别共性描述模型包括：

S231，多维特征空间重构：通过两两目标特征间的相对距离构建一个多维特征空间，从而将不同目标特征间的相对距离转换为同一特征空间中的绝对距离；所述多维特征空间重构采用MDS算法；

S232，特征差异划分：基于聚类算法对空间中的特征点进行划分，按照目标特征的相似程度进行聚类，从而得到不同聚类中的最佳源域目标；所述特征差异划分采用的所述聚类算法为DBSCAN算法。

优选的，所述S24，基于所述跨类别共性描述模型获得目标的最佳源域包括：

S241，基于所述跨类别共性描述模型对不同目标按照所述外观特征进行分类；

S242，针对实际需求的目标域种类，从所述分类中选择最佳源域种类，输入到生成模型中进行目标转换，对生成模型进行了优化解决单一类别源域无背景目标图像较难转换为多类别目标域无背景图像的问题，所述生成模型的优化包括通过基于潜在空间的特征图提取和基于导向梯度信息的可视化特征图提取获得多类别目标域无背景目标的多模态图像。

优选的，所述S3包括：

S31，基于转换后的图像构建目标域合成数据集，包括：

将目标样本数据进行图像预处理和图像转换，获取目标域仿真目标以及背景形成目标域图像合成组件；

基于目标域图像合成组件建立基于层级组件合成规则的知识图谱体系；

基于层级组件合成规则的知识图谱体系构建合成图像；

记录目标的位置信息，将其形成标签数据信息与所述目标域合成图像一起输入到检测模型中进行训练和学习；

基于训练和学习后的检测模型形成目标域合成数据集；

S32，基于目标域合成数据集及标签数据信息训练检测模型；

S33，基于已训练的检测模型进行自动的目标标注。

发明第二方面提供了一种基于多维空间特征模型最佳源域的目标标注系统，包括：

图像获取模块，用于获取不同类别的目标域前景图像；

最佳源域选取模块，用于基于所述不同类别的目标域前景图像进行多维空间特征定量化分析并基于定量化分析后的多维空间特征构建跨类别共性描述模型；基于跨类别共性描述模型获得目标的最佳源域；

目标标注模块，用于基于目标的最佳源域进行目标标注。

本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。

本发明提供的基于多维空间特征模型最佳源域的目标标注方法、系统、电子设备以及计算机可读存储介质，具有如下有益的技术效果：

建立一种泛化性更高、域适应性更强，而且能够满足不同类别果实数据集的自动标注方法；能够自动获得目标域目标的标签，从而应用到下游的智慧农业项目中；并且大大减少了人工标注目标框时所产生的金钱成本和时间成本(相比现有技术中单个场景数据集标注中，市场上平均0.2元/标注框，每张图像平均30颗果实，每张图像平均耗费3分钟标注时间，每个数据集至少包含10000张图像)。

附图说明

图1为本发明所述的基于多维空间特征模型最佳源域的目标标注方法流程图。

图2为本发明所述的对应多类目标域果实生长的最佳源域选取方法流程图。

图3为本发明所述的最佳源域选取中多为特征定量化分析流程图。

图4为本发明所述的多维特征定量化分析中果实特征的相对距离矩阵示意图。

图5为本发明所述的跨类别共性描述模型构建方法输出结果示意图。

图6为本发明所述的目标域果实数据集合成的流程图。

图7为本发明所述的目标域果实数据集合成知识图谱流程图。

图8为本发明所述的基于多维空间特征模型最佳源域的目标标注系统架构图。

图9为本发明所述电子设备结构示意图。

具体实施方式

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。

处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。

显示屏用于显示各个应用程序的用户界面。

除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。

实施例一

参见图1，本实施例提供了一种基于多维空间特征模型最佳源域的目标标注方法，包括：

S1，获取不同类别的目标域前景图像；

本实施例中，不同类别的目标域前景图像均可以为计算机设备预先存储的图像，或者由计算机设备从其他设备中下载的图像，或者由其他设备上传至计算机设备中的图像，或者该不同类别的目标域前景图像可以为该计算机设备当前采集到的图像，本申请实施例对此不做限定。例如，本实施例中，以果园内果实标注为具体应用场景，采用高清摄像设备辅助无人机等高空拍摄的方式获得广域的果园图像作为目标图像。并且目标图像和最终形成的标注图像尺寸相同，例如均为96px*96px。

S2，基于所述不同类别的目标域前景图像进行多维空间特征定量化分析并基于定量化分析后的多维空间特征构建跨类别共性描述模型；基于跨类别共性描述模型获得目标的最佳源域。

作为优选的实施方式，所述S2包括：

S21，从不同类别的目标域前景图像中提取目标的外观特征，所述外观特征包括但不限于边缘轮廓、全局颜色和局部细节等；

S22，将所述外观特征抽象为特定形状、颜色和纹理，基于多维特征定量化分析方法对于不同的目标特征计算特定形状、颜色和纹理的相对距离作为不同目标个体的外观特征的分析描述集；

S23，基于对分析描述集进行多维特征空间重构和特征差异划分构建跨类别共性描述模型；

S24，基于所述跨类别共性描述模型获得目标的最佳源域。

本实施例中，最佳源域选取模块用于设计描述和分析不同类别果实的表型特征，该模块具体流程如图2所示。该模块主要通过计算其特征间的共性作为深度学习算法的先验知识，为深度学习的数据集选择以及训练参数的设置提供指导方针。该模块主要包含两部分内容：首先提出一种多维特征定量化分析方法对不同果实个体的外观特征进行分析描述；其次构建了跨类别共性描述模型对不同果实按照其表型特征进行分类，并从中选择最佳源域果实种类。

如图3所示，作为优选的实施方式，所述S22，将所述外观特征抽象为特定形状、颜色和纹理，基于多维特征定量化分析方法对于不同的目标特征计算特定形状、颜色和纹理的相对距离作为不同目标个体的外观特征的分析描述集包括：

S221，基于傅里叶描述子进行目标(本实施例中为果实)形状提取，并将傅里叶描述子离散化；

S222，提取目标(本实施例中为果实)前景中Lab颜色的空间分布及占比，并绘制CIELab空间颜色分布直方图；

S223，提取目标(本实施例中为果实)前景的像素值梯度以及方向导数信息获得基于LBP算法的纹理信息描述；

S224，基于傅里叶描述子离散化、所绘制的CIELab空间颜色分布直方图以及基于LBP算法的纹理信息描述进行基于相关性和空间分布的单一外观特征相对距离计算；

S225，基于所计算的单一外观特征相对距离值构建相对距离矩阵。

如图4所示为本实施例的果园应用场景下果实特征的相对距离矩阵示意图。

作为优选的实施方式，所述S23，基于对分析描述集进行多维特征空间重构和特征差异划分构建跨类别共性描述模型包括：

S231，多维特征空间重构：通过两两目标(本实施例为果实)特征间的相对距离构建一个多维特征空间，从而将不同目标(本实施例为果实)特征间的相对距离转换为同一特征空间中的绝对距离，便于通过一对二维平面的位置坐标简洁精准的描述每个目标(本实施例为果实)图像的表型特征；

本实施例中，所述多维特征空间重构采用MDS算法，包括：以距离为标准，将高维坐标中的点投影到低维坐标中，保持高位坐标中的点与低维坐标中的点之间的相对距离不变，并将低维坐标中的点投影到二维平面空间中，将相对距离转化为绝对距离。当然，本领域技术人员也可以采用其他算法，只要能够通过坐标投影和相对距离关系将相对距离转化为绝对距离均在本领域的保护范围内。

S232，特征差异划分：基于聚类算法对空间中的特征点进行划分，按照目标(本实施例为果实)特征的相似程度进行聚类，从而得到不同聚类中的最佳源域目标(本实施例为果实)。

本实施例中，所述特征差异划分采用的所述聚类算法为DBSCAN算法，包括：根据多维特征空间中样本的紧密程度进行聚类，自动划分并选取源域目标(本实施例为果实)的类别以及源域个数；根据目标(本实施例为果实)特征的分布差异自动确定聚类个数，每个聚类内部的几何中心处的目标(本实施例为果实)种类作为最佳源域目标(本实施例为果实)种类。

作为优选的实施方式，所述S24，基于所述跨类别共性描述模型获得目标的最佳源域包括：

S241，基于所述跨类别共性描述模型对不同目标按照所述外观特征进行分类；

S242，针对实际需求的目标域种类，从所述分类中选择最佳源域种类，输入到生成模型中进行目标转换，对生成模型进行优化。

如图5所示为跨类别共性描述模型构建方法的输出结果，不同的虚线框为不同的聚类，果实实线框为每个聚类中的最佳源域。

作为优选的实施方式，对于步骤S242，由于选取最适合的源域数据时，有时候可能无法选取到最适合的源域(有的聚类中只有一种目标或果实)，因此需要对生成模型进行了优化，在形状颜色纹理变化很大时，也能实现逼真的转换，实现域差异的减小。

所述生成模型的优化包括通过基于潜在空间的特征图提取和基于导向梯度信息的可视化特征图提取获得多类别目标域无背景目标多模态图像，从而解决单一类别最佳源域无背景目标图像的问题。

S3，基于目标的最佳源域进行目标标注。

如图6所示，作为优选的实施方式，所述S3包括：

S31，基于转换后的图像构建目标域合成数据集，包括：

将目标样本数据进行图像预处理和图像转换，获取目标域仿真目标(果实)、背景以及其他(叶子)组件形成目标域图像合成组件；

基于目标域图像合成组件建立基于层级组件合成规则的知识图谱体系；本实施例中，知识图谱是指对每个组件按照自然语义结构、生长语义结构和目标域背景特征进行生长规则的规则设定，构建的一个基于层级组件合成规则的知识图谱体系；

基于层级组件合成规则的知识图谱体系构建合成图像；

记录目标(果实)的位置信息，将其形成标签数据信息与所述目标域合成图像一起输入到检测模型中进行训练和学习；

基于训练和学习后的检测模型形成目标域合成数据集。

S32，基于目标域合成数据集及标签数据信息训练检测模型；

S33，基于已训练的检测模型进行自动的目标标注。

作为优选的实施方式，所述基于目标域合成图像建立基于层级组件合成规则的知识图谱体系使得构建目标域合成数据集时遵循一定的规则，包括：

基于自然语义的构图规则、基于生长语义的构建规则以及基于场景环境的域适应规则形成的由组件到场景的构建过程。

在本实施例中，由于果园场景复杂、环境多变，完全依靠随机放置的方法实现自动化数据集合成十分困难，因此本方法将果园场景基于组件之间结构性以及规律性的关系，对每个组件按照不同情形进行更细致的分类，形成基于果园场景层级结构的知识图谱，以便对不同组件之间的合成权重进行合理划分。

如图7所示，基于场景环境的域适应规则组成果园场景分布的基础组件，包括土地、天空、骨架、叶子和果实。

基于生长语义的构件规则组成果树生长态势的基础构建构件(包括树和被遮挡的果实)以及组成果树生长态势的组合构件(包括长有果实的树)，其中通过果实基于场景环境的域适应子规则形成被遮挡的果实，通过骨架和叶子基于生长语义的构件子规则形成树，通过树和被遮挡的果实基于生长语义的构件子规则形成长有果实的树。

基于自然语义的构图规则组成自然语义结构的果园场景，其中长有果实的树、天空和土地基于场景环境的域适应规则以及基于自然语义的构图规则最终形成目标域合成图像。

实施例二

参见图8，一种基于多维空间特征模型最佳源域的目标标注系统，包括：图像获取模块101，用于获取不同类别的目标域前景图像；最佳源域选取模块102，用于基于所述不同类别的目标域前景图像进行多维空间特征定量化分析并基于定量化分析后的多维空间特征构建跨类别共性描述模型；基于跨类别共性描述模型获得目标的最佳源域；目标标注模块103，用于基于目标的最佳源域进行目标标注。

本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例一所述的方法。

如图9所示，本发明还提供了一种电子设备，包括处理器501和与所述处理器501连接的存储器502，所述存储器502存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。