用于提供用于控制机器人臂的决策依据的系统和方法、计算机程序以及非易失性数据载体

摘要

相机(110)登记挤奶位置的三维图像数据(Dimg3D)，所述挤奶位置包括参考物体(R1)以及动物(100)以其后腿(LH、RH)面向所述相机(110)站立在上面的旋转平台(130)。控制单元(120)通过在图像数据(dimg3D)搜索所述参考物体(R1)中来检查是否能够在所述图像数据(dimg3D)中找到用于机器人臂的进入窗口。如果所述参考物体(R1)被找到，则所述控制单元(120)在所述图像数据(Dimg3D)中搜索可接受的无障碍体积(V)，所述体积(V)位于相对于所述参考物体(R1)的允许空间(S)内，并且包含面向所述相机(110)的连续区域(A)，所述连续区域(A)超过阈值大小。所述体积(V)从预定义方位(P)开始并且在深度方向上远离所述相机(110)延伸至少主要距离(dOK)。用于控制机器人臂执行与所述动物(100)相关的至少一个动作的决策依据(DB)包括关于所述体积(V)的信息。

说明书

技术领域

本发明通常涉及动物的自动挤奶。特别地，本发明涉及一种用于提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的系统以及一种对应的方法。本发明也涉及一种实现该方法的计算机程序和一种存储该计算机程序的非易失性数据载体。

背景技术

现今的自动挤奶布置是高度复杂的装置。这在借助于为许多挤奶站服务的一个或多个挤奶机器人以完全自动化方式处理挤奶程序的场景中尤其如此。在这样的情况下，挤奶机器人在没有任何人类交互的情况下将奶杯和其他工具例如清洁杯附着到动物。当然，挤奶机器人臂的移动不会对动物造成任何伤害是至关重要的。为此，当控制机器人臂时，必须给挤奶机器人提供可靠的决策依据。

WO 2010/046669描述了一种挤奶设备，该挤奶设备包括传感器设备，该传感器设备在使用挤奶设备时可操作来确定动物的至少一个解剖学特征的在相对于动物的横向方向上的位置，所述至少一个解剖学特征是除动物的乳房以外的某物。传感器设备包括可操作来获取动物的至少部分的至少一个图像的图像捕获设备。挤奶设备也包括在使用挤奶设备时位于动物后面或前面的机器人臂。机器人臂可操作来按照所确定的解剖学特征的位置朝向乳房移动。

此设备可以是有用的。然而，所捕获的图像的数据质量可能不足以提供在控制与动物极为接近的机器人臂时能够完全地依赖于的决策依据。

发明内容

本发明的目的因此是为了提供用于自动控制机器人臂以高效方式执行与产奶动物相关的动作的增强决策依据。

根据本发明的一个方面，目的通过一种用于提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的系统来实现。该系统包括相机和控制单元。相机被配置为登记表示挤奶位置的三维(3D)图像数据，所述挤奶位置进而包含所述动物以其后腿面向相机站立在上面的旋转平台。控制单元被配置为从相机接收图像数据，并且处理该图像数据以推导决策依据，例如指示控制机器人臂执行所述至少一个动作否合适。挤奶位置包含例如形式为物理实体或物理实体的一部分的参考物体，其与旋转平台的旋转平面平行地横向延伸。具体地，控制单元对图像数据的处理涉及检查是否能够在图像数据中找到用于机器人臂的进入窗口。检查进而涉及在图像数据中搜索参考物体；并且如果参考物体被找到，则在图像数据中搜索可接受的无障碍体积。无障碍体积位于相对于参考物体的允许空间内，包含面向相机的连续区域，所述连续区域超过阈值大小。此外，无障碍体积从预定义方位开始并且在深度方向上远离相机延伸至少主要距离。

此系统是有利的，因为它定义了明确定义的空间，其中只要此空间是可用的，机器人臂就能够以安全方式操作。此外，明确定义的空间通过3D图像数据的相对小的子集来表示。因此，高度的可靠性能够与高数据处理效率组合。

根据本发明的这方面的一个实施方式，如果不能在图像数据中够找到参考物体，则检查涉及从表示挤奶位置的存储的图像数据获得关于参考物体的信息，所述存储的数据由相机在当挤奶位置被定位在相机前面时的较早时机登记了。因此，即使参考物体被暂时遮挡，也能够实现所提出的对进入窗口的检查。

根据本发明的这方面的另一实施方式，参考物体包含与旋转平台的旋转平面平行地横向延伸的物理实体或物理实体的一部分。因此，参考物体可以是位于旋转平台(例如，立柱、杆、栏杆或栏杆支架)上或与之相邻的任何种类的停止设备。

相机被优选地布置在这样的方位、定向并有这样的视场，使得在横向方向上，所登记的3D图像数据包括至少一个挤奶隔间的宽度。在纵向方向上，所登记的3D图像数据包括允许空间和参考物体。参考物体在横向方向上至少跨视场的中心部分延伸。优选地，参考物体跨图像数据的整个宽度延伸。结果，参考物体可容易地用作在3D图像数据中导航的起点。

参考物体可以形成布置在与旋转平台分离的挤奶位置的不动部分上的结构的一部分，并且所述结构被配置为防止后腿到达挤奶位置的安全区之外。因此，所谓的踢栏杆能够被用作参考物体。这是有利的，因为踢栏杆是位于距相机不同距离处的清晰可辨别的物体；换句话说，理想参考物体。

优选地，如果控制单元已在图像数据中找到可接受的无障碍体积，则控制单元被进一步配置为检查界定连续区域的一个或多个轮廓是否满足至少一个形状要求。例如，此类形状要求可以涉及连续区域的最大可接受的锯齿状程度和/或最大可接受的不规则程度。如果满足至少一个形状要求中的每一个要求，则控制单元被配置为将所述体积分类为用于机器人臂的进入窗口。这意味着经由进入窗口在动物之下控制机器人臂被认为是安全的。

如果控制单元已在图像数据中找到可接受的无障碍体积，则根据本发明的这方面的一个实施方式，控制单元被进一步配置为在图像数据的允许空间中搜索动物的乳房。这里，控制单元针对搜索使用参考物体作为第一边界条件并且使用旋转平台作为第二边界条件。因此，搜索空间被充分地界定。这进而使得搜索程序能够高效地完成。

优选地，搜索所述体积涉及滤出图像数据中的信息，所述信息表示比第一阈值距离更靠近相机并且比第二阈值距离更远离相机的物体。第一阈值距离和第二阈值距离彼此分离主要距离。这进一步界定搜索空间，从而更进一步提高搜索程序的效率。

预定义方位可以位于距相机第一阈值距离处，并且根据本发明的一个实施方式，第一阈值距离是零，即主要距离已经从相机开始。即，动物常常相对地靠近相机。因此，搜索空间可能需要从相机的前透镜开始。主要距离的远端可以相对于旋转平台的至少一个量度被定义，例如远离平台的边缘的特定距离最靠近与机器人臂的典型操作范围相对应的相机。

根据本发明的这方面的另一个实施方式，搜索所述体积涉及滤出图像数据中的信息，所述信息表示可接受的强度范围之外的光强度。换句话说，搜索空间被界定在除距离关系外的其他地面上。然而，光强度通常与距离相关，即相对低的光强度常常与相对较远的物体表面相关联，并且反之亦然。当然，与位于靠近相机的非常暗的物体比，遥远且非常明亮地着色的物体可以产生更高强度的图像数据。

根据本发明的这方面的附加实施方式，推测了挤奶位置包含其方位相对于相机的方位已知的至少一个辅助参考物体。这里，控制单元被进一步配置为在执行检查是否能够找到进入窗口时在图像数据中搜索至少一个辅助参考物体。即，由此能够非常准确地定位进入窗口。这进而改进所提供的决策支持的质量。

根据本发明的另一方面，目的通过一种提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的方法来实现。该方法涉及经由相机登记表示挤奶位置的3D图像数据。挤奶位置进而包含动物以其后腿面向相机站立在上面的旋转平台。该方法还涉及处理图像数据以推导决策依据，例如指示控制机器人臂执行至少一个动作是否合适。挤奶位置包含参考物体，并且该方法具体地涉及执行检查是否能够在图像数据中找到用于机器人臂的进入窗口。检查进而涉及在图像数据中搜索参考物体。如果参考物体被找到，则在图像数据中搜索可接受的无障碍体积。无障碍体积位于相对于参考物体的允许空间内，并且包含面向相机的连续区域，所述连续区域超过阈值大小。无障碍体积从预定义方位开始并且在深度方向上远离相机延伸至少主要距离。本方法及其优选实施方式的优点从以上参考系统的讨论中显而易见。

根据本发明的另一个方面，目的通过一种可加载到通信地连接至处理单元的非易失性数据载体中的计算机程序来实现。计算机程序包括用于当在处理单元上运行程序时执行上述方法的软件。

根据本发明的另一方面，目的通过一种包含上述计算机程序的非易失性数据载体来实现。

本发明的另外的优点、有益特征和应用将从以下描述和从属权利要求中显而易见。

附图说明

现在将借助于作为实施例公开的优选实施方式并且参考附图更接近地说明本发明。

图1示出了根据本发明的一个实施方式的产奶动物和系统的侧视图；

图2图示了图1中的动物如从系统的相机看到的视场；

图3示出了根据本发明的系统的框图；以及

图4借助于流程图图示了根据本发明的一般方法。

具体实施方式

在图1中，我们看到产奶动物100的侧视图。图1也示意性地图示了根据本发明的系统的一个实施方式。系统提供用于控制机器人臂(未示出)执行与动物100相关的至少一个动作例如执行挤奶前和/或挤奶后奶头消毒、附着和/或分离奶杯的决策依据DB。决策依据DB可以指示有关在动物100之下控制机器人臂是否合适的简单“是”或“否”。然而，在肯定情况下，决策依据DB可以进一步包括定义在动物100之下可接受的无障碍体积的空间坐标的数据。

系统包含相机110和控制单元120。相机110被配置为登记3D图像数据D

图2图示了图1中的动物100如从相机110看到的视场。由于动物100定位在旋转平台130和相机110的位置上，动物100的后腿LH和RH分别比动物100的前腿LF和RF更靠近相机110。因此，后者在3D图像数据D

优选地，为了获得适当的视角，相机110被布置在距动物100的后腿LH和RH达0.6m至1.0m距离处。即，在这样的距离处并且使用典型的光学器件，视角覆盖一个挤奶隔间的全宽度加上邻近隔间的宽度的至少20％。更优选地，视角覆盖至少一个半挤奶隔间的宽度。即，由此存在从一个隔间向另一隔间重复它自身的视觉图案在同一视图中可见的高概率。这进而在控制机器人臂执行与旋转平台130上的产奶动物相关的各种动作时是有利的，因为对此类重复图案的了解增加机器人臂能够利用来在旋转平台130上导航的可靠性。

挤奶位置也包含可由相机110清楚地辨别的至少一个参考物体，并且被定位在距相机110根本不同的距离处。例如，参考物体可以通过踢栏杆R1即不动的并被配置为防止后腿LH和RH到达挤奶位置的安全区之外的通常水平地定向的结构来表示。因此，参考物体可以与旋转平台130分离。然而，附加地或可替代地，挤奶位置也可以包含旋转平台130上的参考物体，即其方位优选地相对于相机110的方位已知的其他物体，诸如形式为杆R2的通常垂直地定向的物体或邻接挤奶隔间和/或用于保持挤奶设备的柜子的类似结构。附加地或可替代地，参考物体可以是旋转平台外部的不动结构，例如支撑踢栏杆R1的杆R11。

控制单元120被配置为执行检查是否能够在3D图像数据D

如果控制单元120不能在图像数据D

根据本发明的一个实施方式，参考物体R1包含与旋转平台130的旋转平面平行地横向延伸的物理实体或物理实体的一部分。此外，在此实施方式中，相机110被布置在这样的方位、定向并有这样的视场，使得所登记的3D图像数据在横向方向上D

如果控制单元120已在3D图像数据D

第一形状要求可以是至少一个轮廓C1、C2和/或C3具有最大可接受的锯齿程度。这里，过度锯齿状的轮廓被认为提供不可靠的决策依据DB。因此，在这样的情况下，在动物100之下控制机器人臂被视为不安全。第二形状要求可以是至少一个轮廓C1、C2和/或C3定义连续区域A的最大可接受的不规则程度。另外在这样的情况下，高度不规则的连续区域A被认为提供不可靠的决策依据DB。因此，如果超过最大可接受的不规则程度，则防止在动物100之下控制机器人臂。然而，如果满足至少一个形状要求中的每一个，则控制单元120被配置为将所述体积V分类为用于机器人臂的进入窗口。

根据本发明的一个实施方式，如果控制单元120已在3D图像数据D

为了进一步减少控制单元120完成搜寻的处理负载，搜索可接受的无障碍体积V可以涉及滤出3D图像数据D

主要距离d

可接受的无障碍物体积V开始于的预定义方位P可以如图1所图示的那样位于距相机110第一阈值距离d

还可以通过滤出3D图像数据D

图3示出了根据本发明的系统的框图。如果控制单元120和相机110被配置为通过执行计算机程序127以自动方式实现上述程序通常是有利的。因此，控制单元120可以包括存储计算机程序127的存储器单元126，即非易失性数据载体，其进而包含用于当在至少一个处理器上运行计算机程序127时使形式为中央控制单元120中的至少一个处理器的处理电路系统执行上述动作的软件。

为了总结，并且参考图4中的流程图，我们现在将描述根据本发明的提供用于控制机器人臂执行与产奶动物相关的至少一个动作的决策依据的一般方法。更准确地说，决策依据可以指示控制机器人臂执行至少一个动作是否合适。

在第一步骤410中，经由相机登记3D图像数据。3D图像数据表示包含动物以其后腿面向相机站立在上面的旋转平台的挤奶位置。

然后，在步骤420中，通过搜索挤奶位置处的参考物体来处理3D图像数据。如果参考物体被找到，则步骤430接着。否则，程序结束。

在步骤430中，检查了是否能够在图像数据中找到用于机器人臂的进入窗口。检查进而涉及在图像数据中搜索可接受的无障碍体积。此体积位于相对于参考物体的允许空间内；包含面向相机的连续区域，所述连续区域超过阈值大小；从预定义位置开始；并且在深度方向上远离相机延伸至少主要距离。如果无障碍体积被找到，则步骤440接着，否则，程序结束。

在步骤440中，提供决策依据，尤其是指示控制机器人臂执行与产奶动物相关的至少一个动作的合适性。

根据本发明的一个优选实施方式，如果不能在图像数据中找到参考物体，则步骤450接着。这里，关于参考物体的信息是从表示挤奶位置的存储的图像数据获得的。此后，程序继续到上述步骤430。

可以借助于编程的处理器控制参考图4描述的所有过程步骤以及步骤的任何子序列。此外，尽管在上面参考附图描述的本发明的实施方式包括处理器和在至少一个处理器中执行的过程，但是本发明因此也扩展到被适配以用于将本发明付诸实践的计算机程序，特别是载体上或载体中的计算机程序。程序可以形式为源代码、目标代码、中间源代码以及诸如部分地编译形式或适合于在实现根据本发明的过程中使用的任何其他形式的目标代码。程序可以是操作系统的一部分，或者是单独的应用。载体可以是能够承载程序的任何实体或装置。例如，载体可以包括存储介质，诸如闪速存储器、ROM(只读存储器)例如DVD(数字视频/通用盘)、CD(紧致盘)或半导体ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或磁记录介质，例如软盘或硬盘。此外，载体可以是可传输载体，诸如可以经由电缆或光缆或通过无线电或通过其他手段传达的电信号或光信号。当程序以可以由电缆或其他装置或手段直接地传达的信号体现时，载体可以由这种电缆或装置或手段构成。或者，载体可以是其中嵌入有程序的集成电路，该集成电路被适配用于执行相关过程或用于在执行相关过程时使用。

术语“包括/包括有”当用在本说明书中时被视为指定存在陈述的特征、整数、步骤或组件。然而，术语不排除存在或添加一个或多个附加特征、整数、步骤或组件或它们的组。

本发明不局限于各图中描述的实施方式，而是可以在权利要求的范围内自由地变化。