基于视觉特征的端到端生猪背膘厚度检测方法及系统

摘要

本发明提出一种基于视觉特征的端到端生猪背膘厚度检测方法和系统，包括：获取训练用生猪图像，且每张训练用生猪图像均具有预先标注的图片中的生猪区域和图片中生猪的背膘厚度；使用训练用生猪图像和其对应的生猪区域，训练基于卷积神经网络多尺度特征提取模型，得到用于生猪实例分割的深度卷积神经网络模型，并基于深度卷积神经网络模型，提取训练用生猪图像中生猪的视觉特征；使用训练用生猪图像的视觉特征和其对应的背膘厚度，训练图神经网络模型，得到背膘厚度预测模型；将待检测生猪图像输入深度卷积神经网络模型，得到待检测生猪图像中生猪的图像特征，并将其输入至背膘厚度预测模型，得到待检测生猪图像中生猪的背膘厚度。

说明书

技术领域

本发明涉及智慧养殖领域，并特别涉及一种基于视觉特征的端到端生猪背膘厚度检测方法及系统。

背景技术

背膘厚度有助于评估母猪的繁殖性能、肉猪的瘦肉率等，现有技术中为了得到生猪背膘厚度往往采用基于专家经验的检测或基于超声波的检测。基于专家经验的检测技术，即养殖人员依据经验对活体生猪背膘厚度进行估测。基于超声波的检测技术，即应用超声波仪器对活体生猪背部的特定区域进行扫描，从而实现生猪背膘检测。常用的超声波检测方法包括A型超声扫描和B型超声扫描。

基于专家经验的检测过于依赖养殖人员的专业经验，检测结果不稳定，不适用大规模活体生猪背膘检测场景。基于超声波的检测，通过生猪背膘仪进行检测时，需要对生猪进行固定，并剔除背部特定区域的毛发，易造成生猪应激；此外，为避免人为因素的影响，通常需要单一专人进行检测，耗时耗力，极大限制检测效率。

发明内容

针对现有技术的不足，本发明提出一种降低对专家先验知识依赖，能够快速、准确检测活体生猪背膘厚度的智能化检测方法，解决复杂养殖环境下活体生猪背膘厚度估测偏差较大且耗时耗力的难题。

具体来说，本发明提出了一种基于视觉特征的端到端生猪背膘厚度检测方法，其中，包括：

步骤1、获取多张训练用生猪图像，且每张训练用生猪图像均具有预先标注的图片中的生猪区域和图片中生猪的背膘厚度；

步骤2、使用该训练用生猪图像和其对应的生猪区域，训练基于卷积神经网络多尺度特征提取模型，得到用于生猪实例分割的深度卷积神经网络模型，并基于该深度卷积神经网络模型，提取该训练用生猪图像中生猪的视觉特征；

步骤3、使用该训练用生猪图像的视觉特征和其对应的背膘厚度，训练图神经网络模型，得到背膘厚度预测模型；

步骤4、将待检测生猪图像输入该深度卷积神经网络模型，得到该待检测生猪图像中生猪的图像特征，并将其输入至该背膘厚度预测模型，得到该待检测生猪图像中生猪的背膘厚度作为检测结果。

所述的基于视觉特征的端到端生猪背膘厚度检测方法，其中，每张该训练用生猪图像还具有预先标注的拍摄视角；该背膘厚度预测模型包括特征提取骨干网络、基于全连接网络的特征预处理模块和自适应特征语义挖掘模块；

该步骤3包括：以每张训练用生猪图像的生猪实例特征输入至该实例特征预处理模块，以将所有生猪实例特征映射至相同的高维空间，形成视觉特征统一表征；并采用该特征提取骨干网络处理生猪实例特征，检测每张训练用生猪图像的拍摄视角；

选择该自适应特征语义挖掘模块中与检测的拍摄角度相对应的语义挖掘模块，对该视觉特征统一表征进行背膘厚度预测。

所述的基于视觉特征的端到端生猪背膘厚度检测方法，其中，该拍摄视角包括侧视、俯视和后视，该自适应特征语义挖掘模块包括侧视特征语义挖掘模块、俯视特征语义挖掘模块和后视特征语义挖掘模块。

所述的基于视觉特征的端到端生猪背膘厚度检测方法，其中，该待检测生猪图像为同一生猪的多视角图像，将该待检测生猪图像的多视角或指定视角图像输入该深度卷积神经网络模型，得到多视角或指定视角的图像特征，并将多视角或指定视角的图像特征输入至该背膘厚度预测模型，综合该背膘厚度预测模型中自适应特征语义挖掘模块中各语义挖掘模块的背膘厚度预测结果，得到该待检测生猪图像中生猪的背膘厚度。

本发明还提出了一种基于视觉特征的端到端生猪背膘厚度检测系统，其中，包括：

初始模块，用于获取多张训练用生猪图像，且每张训练用生猪图像均具有预先标注的图片中的生猪区域和图片中生猪的背膘厚度；

特征提取模块，用于基于该训练用生猪图像和其对应的生猪区域，训练基于卷积神经网络多尺度特征提取模型，得到用于生猪实例分割的深度卷积神经网络模型，并基于该深度卷积神经网络模型，提取该训练用生猪图像中生猪的视觉特征；

训练模块，用于基于该训练用生猪图像的视觉特征和其对应的背膘厚度，训练图神经网络模型，得到背膘厚度预测模型；

预测模块，将待检测生猪图像输入该深度卷积神经网络模型，得到该待检测生猪图像中生猪的图像特征，并将其输入至该背膘厚度预测模型，得到该待检测生猪图像中生猪的背膘厚度作为检测结果。

所述的基于视觉特征的端到端生猪背膘厚度检测系统，其中，每张该训练用生猪图像还具有预先标注的拍摄视角；该背膘厚度预测模型包括特征提取骨干网络、基于全连接网络的特征预处理模块和自适应特征语义挖掘模块；

该训练模块用于：以每张训练用生猪图像的生猪实例特征输入至该实例特征预处理模块，以将所有生猪实例特征映射至相同的高维空间，形成视觉特征统一表征；并采用该特征提取骨干网络处理生猪实例特征，检测每张训练用生猪图像的拍摄视角；

选择该自适应特征语义挖掘模块中与检测的拍摄角度相对应的语义挖掘模块，对该视觉特征统一表征进行背膘厚度预测。

所述的基于视觉特征的端到端生猪背膘厚度检测系统，其中，该拍摄视角包括侧视、俯视和后视，该自适应特征语义挖掘模块包括侧视特征语义挖掘模块、俯视特征语义挖掘模块和后视特征语义挖掘模块。

所述的基于视觉特征的端到端生猪背膘厚度检测系统，其中，该待检测生猪图像为同一生猪的多视角图像，将该待检测生猪图像的多视角或指定视角图像输入该深度卷积神经网络模型，得到多视角或指定视角的图像特征，并将多视角或指定视角的图像特征输入至该背膘厚度预测模型，综合该背膘厚度预测模型中自适应特征语义挖掘模块中各语义挖掘模块的背膘厚度预测结果，得到该待检测生猪图像中生猪的背膘厚度。

本发明还提出了一种存储介质，用于存储执行所述任意一种基于视觉特征的端到端生猪背膘厚度检测方法的程序。

本发明还提出了一种客户端，用于所述任意一种用于基于视觉特征的端到端生猪背膘厚度检测系统。

由以上方案可知，本发明的优点在于：

本发明是智慧养殖背景下活体生猪背膘厚度估测的软件算法解决方案，无需安装、配置复杂的硬件系统，在大规模生猪养殖场景下，依据机器视觉算法，有效解决实际养殖环境下背膘厚度估测对养殖人员专家先验知识的依赖，在降低人力、物力成本的同时减少对生猪健康的损害。在识别过程中，应用实例分割算法精准提取图像中活体生猪的轮廓，充分提取对生猪背膘检测有判别价值的多角度视觉特征，包括俯视、侧视、后视等角度。

背膘厚度回归模型的训练中，充分利用养殖人员专业知识和背膘仪的检测结果，设计基于卷积神经网络的背膘厚度回归模型，并在多视角生猪视觉特征数据上进行回归训练，实现任意角度生猪图像的背膘厚度检测。在实际养殖环境中实现快速、准确的背膘厚度估测，提高生猪养殖的智慧化管理程度。

本发明基于深度学习算法对活体猪的背膘厚度进行检测，降低对养殖人员先验知识的依赖，避免因养殖人员身体状况、经验差异等造成的背膘厚度估测误差；利用活体生猪的多视角视觉信息进行背膘厚度检测，无需通过硬件设施限制生猪活动范围，避免生猪应激导致的生猪健康问题；解决背膘检测过程需要单一专人检测的限制，提高检测速度；依据不同需求，可对单个活体猪或视觉范围内无遮挡的多个活体猪进行单个或批量背膘检测，保证生猪背膘检测的高效率。

附图说明

图1为多视角生猪实例特征提取方法示意图；

图2为生猪背膘厚度综合预测方法示意图；

图3为单视角视觉语义挖掘及背膘厚度回归预测示意图。

具体实施方式

为了解决智慧养殖背景下的活体生猪背膘厚度检测难度大的问题，本发明基于多视角活体生猪图像进行实例分割及背膘厚度的回归预测。回归预测是指训练数据的标签标注虽然是离散数据，例如背膘厚度16毫米、17毫米等，通过回归预测，输出平滑性的预测结果，即给定视觉特征，可以最终输出例如是17.5毫米、20.6毫米等预测结果。

本发明内容主要包括以下步骤：a)采集活体生猪的侧视、俯视、后视、前视等多视角图像，对其进行人工标注从而构建可用于活体生猪实例分割和背膘厚度回归分析的多视角生猪图像数据集。b)设计用于生猪图像实例分割的视觉特征提取及分割技术，包括但不限于卷积神经网络、循环神经网络以及图神经网络等，并利用所构建的多视角生猪图像和实例标注信息进行图像分割模型的训练。c)设计用于背膘厚度预测的视觉特征回归模型，并利用生猪实例特征和背膘厚度标注信息进行视觉特征回归模型的训练。d)在测试过程中，序列化生猪实例分割技术和背膘厚度回归技术，对多视角的活体生猪图像进行实例分割及背膘厚度预测，实现任意视角生猪图像的背膘厚度检测。

为实现上述发明目的，本发明设计了基于视觉特征的端对端生猪背膘厚度检测方法，包括下列步骤：

1.生猪实例分割模型的训练。首先在生猪养殖的真实环境中，采集大量活体生猪图像，涵盖侧视、俯视、前视、后视等不同拍摄角度的图像。然后对部分采集的活体生猪图像进行生猪实例的人工标注，构建活体生猪实例分割数据集；作为实例分割任务，设计实现活体生猪实例分割的深度卷积神经网络模型，在已构建的活体生猪实例分割数据集上进行训练，实现生猪多视角视觉特征的提取。

2.生猪背膘厚度回归模型的训练。使用养殖人员专业知识和背膘检测仪的检测结果，对生猪实例分割模型所提取的生猪视觉特征进行背膘厚度的人工标注，形成生猪背膘厚度回归数据集。设计基于多视角生猪视觉特征的背膘厚度回归模型，在生猪背膘厚度数据集上进行训练，实现对生猪背膘厚度的回归预测。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。并结合实施过程，说明实现发明目的过程与相应带来的效果

本发明提供了一种基于视觉特征的端到端生猪背膘厚度检测方法，方法流程如图所示，具体实施过程包括如下三个步骤：

1.如图1所示，生猪实例分割模型的训练

(1)活体生猪实例分割数据集构建。在真实的生猪养殖环境中，使用RGB图像采集设备对活体生猪进行多视角拍摄。为了能够获得同一目标的多角度视觉特征，对每个活体生猪从至少三个角度拍摄，包括侧视、后视、俯视等。在保证活体生猪RGB图像清晰的前提下尽可能在不同光照下进行拍摄。在本实施例中采集到的活体生猪图像数量为3万张左右，每个活体生猪具有多张多视角图像，原图像素尺寸为1920*1080。对每张生猪图像进行生猪实例的人工标注，完成活体生猪实例分割数据集构建。数据集中图像的70％作为训练集，20％作为验证集，10％作为测试集。

此处的人工标注步骤包括：

1)利用矩形框标注生猪目标所在区域，即获得矩形框的左上角坐标和右下角坐标，标记生猪个体的大致范围；

2)对生猪轮廓上的多个点位进行标记，记录点位坐标，完成生猪实例标注。连接生猪轮廓上的多个点位即可标出生猪实例。

3)对生猪肢体的关键点进行标记，包括眼睛、嘴、颈部、肘、腕、指、臀等，记录坐标信息。

所有的标注信息，如矩形框坐标、生猪轮廓点位坐标、生猪肢体关键点坐标均保存至txt或json等格式的文件中。

(2)活体生猪实例分割模型训练。实例分割属于计算机视觉的热门任务，本质是准确识别视觉图像中的待检测目标，并在像素层次将目标个体从图像背景中分割出来。在活体生猪实例分割任务中，可采用经典的实例分割模型来实现(如Mask R-CNN)。在生猪实例分割数据集上进行分割模型的端到端训练，关键环节包括：

输入信息：多视角生猪图像和生猪实例对应的像素标注。

模型训练：训练模型正确输出图像中生猪的像素轮廓。

该步骤的核心为迁移学习和模型优化。基于迁移学习思想，首先将经典实例分割模型在ImageNet等大规模图像数据集上进行预训练，再通过多视角生猪图像上进行模型优化，形成专用于生猪目标的实例分割技术。其中，模型优化包括但不限于实例分割模型中不同网络分支之间的特征通信、模型剪枝等优化策略。

(3)其他可能的实施例。在本步骤中，针对活体生猪RGB图像的采集，依据实际养殖环境可能在不同光照、不同养殖条件下完成图像拍摄；对于同一生猪个体，由于活体生猪的运动特点，需要从不同角度采集不同数量的生猪图像。对于图像中生猪实例分割任务的实现，所采用的实例分割模型包括但不限于DeepMask、YOLACT、TensorMask等。

2.如图2所示，生猪背膘厚度回归模型的训练

(1)活体生猪背膘厚度回归数据集的构建。完成生猪实例分割模型的训练后，以背膘检测仪输出的活体生猪背膘厚度及拍摄角度为标注数据，结合每张图像中生猪实例的视觉特征，完成生猪背膘厚度回归数据集的构建。

(2)生猪背膘厚度回归模型的训练。以生猪实例特征为输入数据，以背膘厚度为输出结果，设计基于全连接网络(Fully Connected,FC)的实例特征预处理模块，将输入的生猪实例特征映射至相同的高维空间，形成视觉特征统一表征；同步采用特征提取骨干网络对拍摄角度进行检测。

基于检测的拍摄角度，自适应选择“单视角语义挖掘模块”进行背膘厚度预测，如侧视特征语义挖掘、俯视特征语义挖掘等。在“单视角语义挖掘模块”中，设计基于卷积神经网络(CNN)的多尺度特征提取模型和基于图神经网络(GCN)的背膘厚度回归模型；分别实现多尺度生猪视觉特征的提取和多尺度视觉特征关联信息的挖掘；应用softmax实现具体背膘厚度的回归预测。单视角语义挖掘模块的结构如图3所示，基于不同的生猪图像观测视角可实现不同的功能，形成图2所示的侧视特征语义挖掘模块、俯视特征语义挖掘模块、后视特征语义挖掘模块等。

需要注意的是，训练阶段使用生猪实例的多视角视觉特征作为输入，在完成不同“单视觉语义挖掘模块”的训练后，测试阶段可使用多视角或单视角视觉特征作为输入。若为多视角视觉特征，则对多个“单视角语义挖掘模块”的输出结果进行综合评估，实现生猪背膘厚度的综合预测；若输入单视角视觉特征，则以单个“单视角语义挖掘模块”的输出作为最终的背膘厚度预测。

(3)其他可能的实施例。在本步骤中，生猪背膘厚度回归模型可能有不同数量的卷积层、残差模块构成，所采用的特征提取网络包括但不限于经典卷积神经网络、循环神经网络及图神经网络等。

3.图像中活体生猪背膘厚度的端到端预测

(1)生猪实例分割模型用于提取给定图像中生猪的像素级视觉特征，生猪背膘厚度回归模型用于背膘厚度具体数值的预测。在本实施例中，实例分割模型与背膘厚度回归模型之间进行序列化连接，即实例分割模型的输出被用作背膘厚度回归模型的输入，实现端到端的生猪背膘厚度预测。

(2)对于任意视角的未标注生猪图像，将其输入到生猪实例分割模型，输出猪只的实例特征；再将其输入至背膘厚度回归模型中，实现多尺度视觉特征的提取及关系信息的挖掘，输出背膘厚度的准确预测。

(3)其他可能的实施例。在端到端背膘厚度检测过程中，图像初始输入可能是RGB图像或包含深度信息的RGB+D图像，以及图像数据的采集视角。输出结果可能保存至json、hdf5、txt等文本文件，并同步映射到可视化界面上。

在应用阶段，该端对端模型的初始输入可以是单一生猪样例的多视角图像，也可以是生猪的任意视角图像。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于视觉特征的端到端生猪背膘厚度检测系统，其中，包括：

初始模块，用于获取多张训练用生猪图像，且每张训练用生猪图像均具有预先标注的图片中的生猪区域和图片中生猪的背膘厚度；

特征提取模块，用于基于该训练用生猪图像和其对应的生猪区域，训练基于卷积神经网络多尺度特征提取模型，得到用于生猪实例分割的深度卷积神经网络模型，并基于该深度卷积神经网络模型，提取该训练用生猪图像中生猪的视觉特征；

训练模块，用于基于该训练用生猪图像的视觉特征和其对应的背膘厚度，训练图神经网络模型，得到背膘厚度预测模型；

预测模块，将待检测生猪图像输入该深度卷积神经网络模型，得到该待检测生猪图像中生猪的图像特征，并将其输入至该背膘厚度预测模型，得到该待检测生猪图像中生猪的背膘厚度作为检测结果。

所述的基于视觉特征的端到端生猪背膘厚度检测系统，其中，每张该训练用生猪图像还具有预先标注的拍摄视角；该背膘厚度预测模型包括特征提取骨干网络、基于全连接网络的特征预处理模块和自适应特征语义挖掘模块；

该训练模块用于：以每张训练用生猪图像的生猪实例特征输入至该实例特征预处理模块，以将所有生猪实例特征映射至相同的高维空间，形成视觉特征统一表征；并采用该特征提取骨干网络处理生猪实例特征，检测每张训练用生猪图像的拍摄视角；

选择该自适应特征语义挖掘模块中与检测的拍摄角度相对应的语义挖掘模块，对该视觉特征统一表征进行背膘厚度预测。

所述的基于视觉特征的端到端生猪背膘厚度检测系统，其中，该拍摄视角包括侧视、俯视和后视，该自适应特征语义挖掘模块包括侧视特征语义挖掘模块、俯视特征语义挖掘模块和后视特征语义挖掘模块。

所述的基于视觉特征的端到端生猪背膘厚度检测系统，其中，该待检测生猪图像为同一生猪的多视角图像，将该待检测生猪图像的多视角或指定视角图像输入该深度卷积神经网络模型，得到多视角或指定视角的图像特征，并将多视角或指定视角的图像特征输入至该背膘厚度预测模型，综合该背膘厚度预测模型中自适应特征语义挖掘模块中各语义挖掘模块的背膘厚度预测结果，得到该待检测生猪图像中生猪的背膘厚度。

本发明还提出了一种存储介质，用于存储执行所述任意一种基于视觉特征的端到端生猪背膘厚度检测方法的程序。

本发明还提出了一种客户端，用于所述任意一种用于基于视觉特征的端到端生猪背膘厚度检测系统。