估计牦牛体尺、体重的方法和相应的便携式计算机装置

摘要

本发明提出一种基于3D视觉估计牦牛体尺的方法，包括：利用图像采集设备采集牦牛的侧面图像；由侧面图像提取前景图像；在所提取的前景图像中识别牛体关键点；利用被识别的牛体关键点信息，自动提取牦牛体尺信息。还提出一种基于3D视觉估计牦牛体重的方法，包括执行前述基于3D视觉估计牦牛体尺的方法；以提取的牦牛体尺信息作为输入，利用牦牛体重估计模型，预测牦牛体重值。替换地，又提出一种基于3D视觉估计牦牛体重的方法，包括：利用图像采集设备采集牦牛的侧面图像；由侧面图像提取前景图像；利用卷积神经网络从前景图像直接预测体重值。本发明还提出一种相应的便携式计算装置。

说明书

技术领域

本发明总体地涉及估计牦牛的体尺、体重的方法，特别是涉及利用神经网络估计牦牛的体尺、体重的方法。本发明还涉及用于执行所述方法的相应便携式计算机装置。

背景技术

随着科学技术的发展与大数据时代的来临，畜牧业的信息化与智能化是促进我国畜牧业快速、健康发展的重中之重。借助智能化、自动化的数据采集与计算机辅助分析，可以提升畜牧业的生产规模、降低人力成本、增强生产效率。

对于畜牧产业中的牦牛，据统计全世界现有牦牛约2200万头，而中国占到其中的90％以上，是养殖牦牛的第一大国。牛类的体尺指标主要包含体高、体长、体斜长、胸围、管围、腰角宽等参数。随着生物研究的发展和牧民养殖经验的不断积累，人们已经认识到对牛体的测量有着广泛的应用和价值，包括监视并预测牛的生长速率、发育状态、身体特征和饮食状态，以利于家畜的鉴定、买卖与选育，也可用于估计屠宰后的肉量与品质。因此，对于牦牛的体尺与体重的测量具有很实际的经济价值。

然而现阶段在实际应用中，牧民对牦牛的体尺与体重指标的测量仍然非常低效、繁琐，例如体高、体长、胸围等的体尺指标需要养殖人员亲手用尺测量，而体重指标则需将牦牛逐一驱赶至体重秤上测量，这种测量方式需要耗费大量的人力物力，具有一定的危险性，测量的体尺指标也并不精确，而且还会造成对牦牛的应激反应，对牦牛的健康存在不利影响。而在相关的学术研究中，利用体尺指标来估计体重、基于图像的体尺体重测算，也都存在着相应的不足。

现有的对牦牛体尺、体重测量或估计的方案及相应缺点：

体尺体重指标的传统测量方法

一直以来，对于牦牛的体尺测量都必须由牧民手工完成，要求牛姿态端正地站立在平地，使用测丈、卷尺和圆形测定器等工具进行测量；对于体重的测量，往往是需要将牛驱赶至一个特制的、含称重装置的区域中，记录下称得的重量。

这样的测量方式存在很多不足之处，由于牦牛体型较大，难以控制，因此对每一头牛的每一项体尺指标都需要单独人工测量，工作量大；另外由于人工操作问题，获得的体尺指标的精度也可能存在一定偏差；此外，由于需要直接接触牛体，有可能会造成牛的应激反应，有可能存在危险或对牛的健康不利。

利用体尺指标来估计体重

由于测量牦牛体重对人力和机械的要求过高，相对来说体尺的测量更加简单，因此中外一些学者提出了利用牦牛体尺指标来估计体重的方式。具体方法是使用测距工具来人工测量牦牛的多个体尺指标，同时用称重装置得到牦牛体重，利用统计学方法拟合归纳出牦牛体重与体尺指标的关系，得到拟合公式后只需再测量某头牛的体尺指标，即可用公式计算估计出其相应的体重。

利用体尺指标来估计体重的方案是可行的，解决了难以对牦牛直接称重的难题，然而使用测量工具人工进行体尺指标的测量，仍然存在之前讨论中体尺指标测量的诸多弊端，如耗费人力成本、造成牛的应激反应以及测量指标不精确或不全面等等。

基于图像和视觉方法的体尺体重测量研究

随着近年来计算机图像采集和处理技术的不断进步，以及3D技术的发展和3D传感器的普及，更多的基于计算机图像和2D/3D视觉的方法被尝试应用于对牦牛等家畜的体尺测量与体重估计。

现有的基于视觉方法的牦牛体尺体重估计方法，形式是通过采集家畜俯视、侧视、正视的深度图，来提取体尺关键点，计算体尺指标，并用于估计家畜体重。这种方法具有很强的现实意义，降低了牧民和科研工作者测算家畜体尺体重的难度。但是现有工作仍存在一定的不足之处，最核心的缺点在于已有工作基本上都是限制性空间的体尺测量，即需要将家畜活体稳定在特定空间、特定位置和特定设备之处，这样的方式利于批量获得大量数据，通用性较强，但是测量装置往往结构复杂、成本较高，并局限于装置的固定位置，不能移动，还会对家畜有一定的应激影响。

发明内容

本发明的目的在于，克服在限制性空间内测量或估计体尺和/或体重的缺点。

根据本发明的一个方面，提出一种基于3D视觉估计牦牛体尺的方法，包括以下步骤：

-利用图像采集设备采集牦牛的侧面图像；

-由侧面图像提取前景图像；

-在所提取的前景图像中识别牛体关键点；

-利用被识别的牛体关键点信息，自动提取牦牛体尺信息。

有利地，所述提取前景图像步骤可包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。

有利地，所述初步提取步骤可包括：

-删除噪点，并做降采样处理；

-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；

-按距离聚类，提取牦牛牛体点云。

有利地，所述提取前景图像步骤可还包括优化提取步骤，在所述初步提取步骤获得的前景图像基础上，借助牦牛身体的彩色信息，通过设定颜色阈值，获得优化的前景图像，其中，所述颜色阈值可动态调节。

根据一个实施方式，所述识别牛体关键点步骤可以利用人工辅助标注进行。

替换地，根据另一实施方式，所述识别牛体关键点步骤可以利用神经网络深度学习方法进行。

有利地，所述神经网络深度学习方法可以利用CNN卷积神经网络。

有利地，利用已经人工标注关键点的一定数量的图像信息，使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，人工标注的关键点的X、Y、Z坐标作为输出，使用CNN卷积神经网络进行训练，得到模型；利用模型实现体尺关键点的自动获取。

例如，所述CNN卷积神经网络可以是三层CNN卷积神经网络。

例如，识别16个牛体关键点，分别位于嘴部、牛头上边缘、牛头下边缘、颈部上边缘、颈部下边缘、耆甲最高点、肩胛前端、背部、腹部、臀部、后腿上部、足部左前、足部右前、足部左后、足部右后、尾部外边缘。

有利地，在自动提取牦牛的体尺信息时，可以将被识别的牛体关键点信息与原始点云图像结合以进行提取。

例如，所提取的牦牛体尺信息可包括体厚、背高、体高、臀高、腿高、平均体高、体长、体斜长、腹部周长、腿间距、最大腹宽、平均腹宽、侧面表面积中的若干个或全部。

特别地，体长、体斜长、最大腹宽、平均腹宽、腹部周长、腿间距和平均高度是牛体上的曲线长度。

有利地，所述图像采集设备可以与平板电脑或智能手机以有线或无线的方式相连或安装于其上。

例如，所述图像采集设备可以是立体摄像头或两个彩色摄像头。

根据本发明的另一方面，提出一种基于3D视觉估计牦牛体重的方法，包括以下步骤：

-执行前述基于3D视觉估计牦牛体尺的方法；

-以提取的牦牛体尺信息作为输入，利用牦牛体重估计模型，预测牦牛体重值。

有利地，基于所述牦牛体尺信息、牛体关键点坐标、牛的自然情况，利用单一的机器学习回归模型或集成学习方法训练预测牦牛体重的模型。

特别地，所述单一的机器学习回归模型可以利用随机决策森林算法。

特别地，所述集成学习方法可以利用Stacking方法结合随机决策森林、线性回归、高斯过程回归、神经网络学习算法中的一个或多个。

替换地，还提出一种基于3D视觉估计牦牛体重的方法，包括以下步骤：

-利用图像采集设备采集牦牛的侧面图像；

-由侧面图像提取前景图像；

-利用卷积神经网络从前景图像直接预测体重值。

有利地，所述提取前景图像步骤可包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。

有利地，所述初步提取步骤可包括：

-删除噪点，并做降采样处理；

-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；

-按距离聚类，提取牦牛牛体点云。

有利地，所述提取前景图像步骤可还包括优化提取步骤，在所述初步提取步骤获得的前景图像基础上，借助牦牛身体的彩色信息，通过设定可动态调节的颜色阈值，获得优化的前景图像。

有利地，可以使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，体重值作为输出，构建CNN卷积神经网络进行训练，得到体重预测模型。

例如，所述CNN卷积神经网络为五层CNN卷积神经网络。

特别地，所述图像采集设备可以与平板电脑或智能手机以有线或无线的方式相连或安装于其上。

例如，所述图像采集设备可以是立体摄像头或两个彩色摄像头。

根据本发明的又一方面，提出一种便携式计算装置，包括处理器、存储器和图像采集设备，所述图像采集设备可操作来拍摄牦牛的侧面立体图像，所述存储器上存储有计算机可执行指令，所述计算机可执行指令当被所述处理器执行时，操作来执行如前所述的基于3D视觉估计牦牛体尺的方法或如前所述的基于3D视觉估计牦牛体重的方法。

本发明的优势在于，可以在非限制性空间内对牛体特征进行自动提取、给出牦牛体尺和体重的预测模型，进而实时计算出牦牛的体尺指标，得到牦牛的体重估计。由于结合深度信息，可以更精确地识别、提取牦牛的前景图像；通过充分挖掘、利用3D点云信息，可以获得更为丰富的牦牛体尺指标特征；结合深度学习，可以自动进行牛体关键点的识别，自动进行体重预测

图像采集设备的实现非常灵活，为了节约成本，甚至可以通过两个任意的一般彩色摄像头进行模拟。本发明对于运算设备也没有较高的性能要求，相比于现有的体尺、体重测量对于人力、物力、机械、场地等方面的要求，成本非常低廉。

根据本发明，使用者只需利用摄像头对牦牛侧面进行拍摄即可获得体尺和体重信息，相比于传统的人工测量，提升了测量的精确性与安全性，降低测量的人力成本与场地限制。体重预测精度可以达到92％，通过更大规模的数据采集和更多的条件限制，精度可以得到更大的改善。对于牦牛体尺、体重指标的获取与观测，以利于牧民提高养殖效益、科学研究者得到更全面、精确的牦牛体征指标。相对于人工标注，借助CNN的自动识别算法精度和鲁棒性有较小的差距，但是可以通过增加训练集大小、参数调优等方式予以改善。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出根据本发明一个实施例的用于在非限制性空间下对牦牛体尺、体重进行估计的示意图；

图2示出根据本发明一个实施例所使用的立体摄像头的照片；

图3示出根据本发明在非限制性空间下估计牦牛体尺的方法的流程图；

图4示出根据本发明一个实施例通过初步提取步骤提取的牦牛前景图像；

图5(a)、(b)、(c)示出根据本发明另一实施例通过初步提取步骤和优化提取步骤提取的牦牛前景图像，其中，图5(a)、(b)、(c)分别为牦牛侧向图的原图、前景图、轮廓图；

图6示出在一个实施例中选取的16个体尺关键点；

图7示出根据本发明利用CNN自动识别牦牛体尺关键点的示意图；以及

图8示出根据本发明在非限制性空间下估计牦牛体重的方法的流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

如图1所示，根据本发明的一个实施例，利用通过USB与计算设备相连的图像采集设备拍摄牦牛图像，该图像采集设备可以其他有线或无线的方式与计算设备相连或者安装于其上，该计算设备可以是平板电脑或智能手机等。该图像采集设备例如与牦牛相距1至5米。

例如，本发明的图像采集设备为双目立体视觉摄像头，如选用ZED 3D摄像头，如图2所示，该摄像头对太阳光不敏感，可以在室外环境下使用，识别范围在1m-15m，图像最高分辨率可达4K，可以通过USB与计算设备相连接，帧率约为30fps。替换地，为节约成本，图像采集设备也由两个任意的一般彩色摄像头进行模拟。

由于操作者使用的设备完全可移动，因此在估计牦牛体尺、体重时完全不受固定的设施、场地的限制。

图3示出了根据本发明在非限制性空间下估计牦牛体尺的方法的流程图。

由于牦牛侧面图像包含了体高、体长、体斜长、体厚、背高等重要体尺信息，因此本发明首先采集牦牛的侧面图像(步骤S101)。由于牛体侧面图被采集，对体尺、体重的估计可以通过便携式智能设备在非限制性空间内进行，而无需将牦牛驱赶至固定的测量环境下，而使牛产生应激反应；同时大大降低体尺、体重估计时的人力成本、时间成本和经济成本，并提升了安全性。

基于所采集的牦牛侧面图像提取牦牛前景图像(步骤S102)。在牦牛前景图像的初步提取步骤中，利用所采集侧面图像的点云的3D信息，进行地面识别、坐标系归一化和牛体前景的初步提取，如图4所示。特别地，该初始提取步骤例如包括三个子步骤：首先通过按点云密度去噪算法删除噪点，并做降采样处理；然后通过识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；最后使用按欧几里得距离聚类方法，提取最大的连通部分，即为牦牛牛体点云。该初始提取步骤的流程和效果对于采集到的绝大多数点云数据相对稳定。由于结合深度信息，可以更精确地识别、提取牦牛的前景图像。

当牦牛处于复杂背景的情况下时，还可以在初始提取步骤之后进行优化提取步骤。该优化提取步骤利用彩色图像信息对初始提取步骤提取的牛体前景进行优化，适合在复杂背景情况下作为初始提取步骤的补充与改善。具体地，优化提取步骤是在初步提取步骤中获得的前景基础上，借助牦牛身体的彩色信息，通过设定颜色阈值，优化提取前景图像，如图5(a)、(b)、(c)所示。其中，该颜色阈值可动态调节。

随后识别牛体关键点。在本发明中定义了牦牛的16个体尺关键点，用以获取体尺信息、提取体尺特征、并预测体重值。这16个关键点的识别有助于提高体尺、体重估计的准确性。在一个实施例中，所述16个体尺关键点分别位于嘴部1、牛头上边缘2、牛头下边缘3、颈部上边缘4、颈部下边缘5、耆甲最高点6、肩胛前端7、背部8、腹部9、臀部10、后腿上部11、足部左前12、足部右前13、足部左后14、足部右后15、尾部外边缘16，如图6所示。具体地，嘴部关键点可以在牛的嘴尖处选取；牛头上边缘关键点和牛头下边缘关键点作为牛头与其余牛体的分界点；颈部上边缘关键点和颈部下边缘关键点作为牛颈部与牛躯干部分的分界点；耆甲最高点关键点可以在牛背部前侧的最高点处选取；肩胛前端关键点可以在牛前肢的起点处选取；背部关键点可以是牛背部上方中部的一点，可近似为耆甲最高点关键点6和臀部关键点10的中点；腹部关键点可以是牛腹部下方中部的一点，可近似为背部关键点8正下方对应的腹部关键点的点；臀部关键点可以是牛臀部上方最外侧的一点；后腿上部关键点可以在牛后肢的起点处选取；足部左前关键点可以在牛左前蹄处选取；足部右前关键点可以在牛右前蹄处选取；足部左后关键点可以在牛左后蹄处选取；足部右后关键点可以在牛右后蹄处选取；尾部外边缘关键点可以在牛尾尖处选取。

根据本发明，牛体关键点可以通过人工辅助标注来识别(步骤S103’)，其中，标注者凭借经验进行体尺关键点的标注。

替换地，牛体关键点也可以通过使用深度学习方法，利用已经人工标注过的一定数量的图像信息，使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，人工标注的16个关键点的X、Y、Z坐标作为输出，使用三层CNN卷积神经网络进行训练，得到模型，利用模型实现体尺关键点的自动获取(步骤S103)，如图7所示。作为例子，所述一定数量的图像信息可以是5000张图像，且其可以通过数据扩充方法将数据集扩大至30000。训练模型在测试集上表现良好。相对于人工标注，借助CNN的自动识别算法精度和鲁棒性有较小的差距，但是可以通过增加训练集大小、参数调优等方式予以改善。

利用自动识别或人工标注的牦牛体尺关键点信息，自动提取牦牛的体尺信息(步骤S104)。例如，共16个牦牛体尺关键点被标注。在提取牦牛体尺信息时，还可以结合原始点云图像。

由于结合了原始点云图像，对体尺指标的测量不再局限于计算体尺关键点之间线段的长度。利用3D信息可以计算躯体曲面上的特征与距离。受益于三维信息，在此计算得到的体尺特征将不再是传统图像处理算法中的点的直线距离，而是与牦牛躯体曲面相吻合的曲线距离。

相比于现有技术所提取的体尺指标，除了体高、体长、臀高、胸围和腰角宽等传统指标之外，本发明通过提取3D点云中更多的特征(平均体高、表面积等)，丰富了牦牛的体尺指标选取，用以更全面地描述牦牛的体尺状态，进而更精准地预测牦牛体重。作为例子，本发明提取的特征包括体厚、背高、体高、臀高、腿高、平均体高、体长、体斜长、腹部周长、腿间距、最大腹宽、平均腹宽、侧面表面积中的若干个或全部。其中，体长、体斜长、最大腹宽、平均腹宽、腹部周长、腿间距和平均高度特征测量的是牛体上的曲线长度。在图5所示的实施例中，这些体尺特征的说明和计算方法如表1所示：

表1

图8示出了根据本发明在非限制性空间下估计牦牛体重的方法的流程图。

根据本发明的一个实施方式，牦牛的体重可在执行分别与上述步骤S101、S102、S103(或S103’)相同的步骤S201、S202、S203，利用基于自动识别或人工标注获得的牛体关键点而自动提取的体尺特征，构建训练模型进行预测(步骤S204)。

具体地，在通过点云数据提取牦牛体尺特征之后，可以利用体尺特征，并结合关键点坐标、牛的自然情况等特征，来训练预测牦牛体重的模型。自然情况例如包括牦牛的品种、性别、年龄、牧场所在地、季节等。

通过实验，对于所有单一的机器学习回归模型，随机决策森林算法的准确率最高，体重预测精度可以达到91％；而通过集成学习方法，利用Stacking方法结合随机决策森林、线性回归、高斯过程回归、神经网络等学习算法，体重预测精度可以达到93％。

替换地，根据本发明的另一实施方式，牦牛的体重可利用卷积神经网络由牦牛前景图像被直接预测，而无需进行牛体关键点的识别和体尺特征的提取。

具体地，在采集牦牛的侧面图像(步骤S201)之后，利用被提取的牦牛牛体前景图像(步骤S202)，在直接预测体重的CNN模型中，使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，体重值作为输出，构建CNN卷积神经网络进行训练，得到体重预测模型(步骤S204)。在一个例子中，数据集大小为30000，所使用的CNN卷积神经网络为五层CNN卷积神经网络，在测试集上平均绝对误差为4.4％，均方误差为7.7％，精度已满足体重预测的基本需求。显然，模型的精度可以通过扩大训练集、参数调优、优化网络结构等方式予以改进。

由于省略了牛体关键点识别和体尺特征提取的步骤，无需人工定义和抽取特征，而通过深度学习由学习算法来自动进行，这样避免了在一个地域或牦牛品种提取的特征无法适用于其他地域或牦牛品种，能够增强本发明在普适性。

本发明在牦牛的体尺、体重估计方面具有特别有利的应用，但并不限于此，其当然可以用于其他任何动物的体尺、体重估计。本领域的技术人员可以依据本发明，在根据待应用的动物的体型特点对体尺关键点、特征等进行相应修改后应用于其他任何动物。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。