图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体

摘要

一种图像处理器(140)获得由飞行时间TOF成像系统(110)配准的图像数据(D

说明书

技术领域

本发明大体上涉及三维(3D)图像处理。特别地，本发明涉及用于处理飞行时间图像数据的图像处理器以及对应的计算机实现的图像处理方法。本发明还涉及对应的计算机程序以及存储这种计算机程序的非易失性数据载体。

背景技术

现代相机已经成为相当先进的数据收集传感器。如今，例如存在包含能够记录进入建筑物或公共交通工具的大量人员的体温的非常精确的高速热相机的医疗筛选布置。另外，各种形式的深度感测相机用于以显著的精度控制车辆和机器人。例如，现代挤奶机器人经常依赖于飞行时间(TOF)相机来进行它们的操作。TOF相机是采用飞行时间技术来针对图像的每个点解析相机与已成像对象之间的距离的距离成像系统。TOF相机测量由激光器或发光二极管(LED)提供的人造光信号的往返时间。基于激光的飞行时间相机是更广泛类别的无扫描(光检测和测距)LIDAR的一部分，其中使用每个激光脉冲捕获整个场景，而不是诸如在扫描LIDAR系统中使用激光束逐点捕获。TOF相机可用于覆盖几厘米多至几公里的范围。自然地，在自动挤奶应用中，TOF相机在该范围的较短端操作，例如在多至几分米的距离处操作。

US 10,750,712示出了一种用于自动为产奶动物(例如奶牛)挤奶的工具。该工具包括挤奶室、用于观察乳头的传感器以及用于将挤奶杯自动地附接到乳头上的挤奶机器人。该挤奶机器人包括连接到传感器的机器人控制器。该传感器包括用于发射光的辐射源、用于接收从产奶动物反射的电磁辐射的接收器、透镜和传感器控制单元。该传感器包括具有多个接收器行和多个接收器列的矩阵。传感器控制单元被设计成针对每个接收器确定发射的电磁辐射与反射的电磁辐射之间的相位差，以便计算从传感器到产奶动物的待观察部分上的多个点的距离。

US 10,430,956描述了用于减少深度图像的失真的图像处理方法。该方法涉及：基于向对象发射和从对象反射的光束获得多个原始图像；基于这些光束的相位延迟，确定从该多个原始图像获得的原始深度图像的原始深度值，这些反射光束包括使原始深度值失真的多反射光束；基于原始深度图像中强度大于预定强度的区域，确定多反射光束相对于多反射光束的每个相位的虚强度；基于多反射光束的虚强度来校正原始深度图像的原始深度值。该方法涉及基于校正的原始深度值来生成校正的深度图像。

因此，在挤奶工具中使用TOF相机是已知的。还存在用于基于校正的深度图像来减少TOF相机的深度图像的失真的解决方案。

然而，位于TOF相机的光源与所关注对象之间的干扰对象仍然可能导致在测量到所关注对象的距离方面的精度问题，该距离例如可以由机器人应将挤奶机的挤奶杯连接到的奶头表示。

发明内容

因此，本发明的目的是提供一种解决方案，该解决方案减轻上述问题并且在成像场景中的一个或多个对象部分地阻止TOF相机的光源的光到达场景中的各种对象的情况下还产生高精度距离数据。

根据本发明的一个方面，该目的通过一种被配置为获得由TOF成像系统配准的图像数据的图像处理器来实现。该图像数据表示由至少两个光源照射的场景，该至少两个光源被校准以使得图像处理器能够产生要被包括在图像数据中的距离数据。该距离数据表示从TOF成像系统到已成像对象上的点的相应距离。该图像处理器被配置为确定是否存在阴影效应，通过该阴影效应，场景中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统中。如果确定存在该阴影效应，则图像处理器被配置为调整距离数据以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。

以上图像处理器是有利的，因为它还针对其中对象相对于TOF成像系统且以使得场景的一些区段部分仅由TOF成像系统的光源的子集照射的方式定位的场景产生准确的距离数据。

根据本发明的该方面的一个实施方案，该图像处理器被配置为通过将表示到该至少一个第二对象的该至少一部分上的表面上的点的距离的一段距离数据修改适应量来调整该距离数据。该一段距离数据是在不考虑阴影效应的情况下确定的，并且适应量取决于该至少两个光源中的哪个或哪些光源的光未到达所述点。在此，该至少两个光源总计为第一总数目n，并且光未到达所述点的一个或多个光源总计为至少一个且n-1或更少的第二总数目。因此，对光未到达至少一个第二对象的至少一部分的光源进行补偿是直接的。

上述适应可以通过通信地连接到查找表的图像处理器来实现，该查找表包含表示至少两个光源中的光未到达所述点的光源的每个可能组合的适应量的数据集。所述组合适用于由距离数据表示的特定距离。因此，对于每个这样的距离，查找表包含数据集，该数据集表示取决于被遮蔽的特定光源而要使用的适应量。由此，图像处理器可以以快速且可靠的方式从查找表获得相关适应量。

根据本发明的该方面的另一实施方案，该至少一个第一对象具有相对于该TOF成像系统和该至少两个光源的已知位置和空间延伸。该图像处理器还被配置为调整距离数据以补偿光被阻挡而无法到达至少一个第一对象后面的至少一个区段部分的至少两个光源中的至少一个光源。即，在这种情况下，预先知道TOF成像系统的视场的哪些区段部分将总是被至少一个第一对象部分地遮蔽。

例如，该场景可以包含挤奶位置，并且至少一个第一对象中的至少一者可以是布置在机械地链接到TOF成像系统的承载结构上的挤奶杯。在这种情况下，该图像处理器优选地被配置为调整距离数据以补偿光将被阻挡而无法到达挤奶杯后面的至少一个区段部分的光源，该至少一个区段部分可位于挤奶杯要连接到的奶头处。

根据本发明的该方面的又一实施方案，该图像处理器被配置为确定到场景中的潜在遮蔽对象的距离，该潜在遮蔽对象与场景中的任何其他对象相比位于与TOF成像系统相距较短的距离处。即，图像处理器确定最近的对象。该图像处理器还被配置为应用反向光线跟踪算法来在该场景中建立至少一个区段部分，该至少一个区段部分被估计为相对于来自这些光源中的至少一个光源的光被该最近的对象遮蔽。该图像处理器接着被配置为在确定阴影效应是否存在时将潜在遮蔽对象包括在候选组中，从该候选组中选择该至少一个第一对象。因此，该图像处理器确定阴影效应是否以结构化的方式存在。

优选地，该图像处理器被具体配置为执行第一处理步骤，其中确定场景中另一潜在遮蔽对象的空间位置，该另一潜在遮蔽对象与场景中尚未被包括在候选组中的任何其他对象相比位于与TOF成像系统相距较短的距离处；执行第二处理步骤，其中应用所述反向光线跟踪算法以相对于来自该至少两个光源中的至少一个光源的光在该场景中建立被估计为由另一潜在遮蔽对象遮蔽的至少一个区段部分；并且执行第三处理步骤，其中在确定该阴影效应是否存在时，将该另一潜在遮蔽对象包括在该候选组中，从该候选组选择至少一个第一对象。

该图像处理器被配置为重复该第一处理步骤、该第二处理步骤和该第三处理步骤，直到已经满足停止标准。由此，可以将该场景中的该阴影效应建立到期望的精度。

停止标准又可以响应于时间约束和/或处理能力约束来设置。

根据本发明的该方面的另一实施方案，该图像处理器被配置为确定表示到第二对象的第一表面区域的第一距离的第一段距离数据，该第一表面区域位于由至少两个光源中的所有光源照射的第一区段部分中。该图像处理器同样被配置为确定表示到至少一个第二对象的至少一部分的第二表面区域的第二距离的第二段距离数据，该第二表面区域位于由至少两个光源的子集照射的第二区段部分中。第二段距离数据的确定在此涉及将第一表面区域外推到第二区段部分中。

优选地，该外推假设该至少一个第二对象具有通常已知的形状。即，这有助于外推处理并提高数据质量。当然，如果该至少一个第二对象确实具有相对接近于假定的通常已知形状的形状，则这一点尤其正确。

在一个实施方案中，第二数目为零。这意味着没有来自光源的光照射第二区段部分，并且因此TOF成像系统在这里相对于距离测量是“盲目的”。然而，如果假设至少一个第二对象具有通常已知的形状，则根据上述的外推仍然是可能的。

根据本发明的该方面的又一实施方案，该场景包含挤奶位置，并且该至少一个第二对象是挤奶动物的奶头。在这种情况下，挤奶机器人是容易控制的，例如基于由图像处理器产生的调整后的距离数据将挤奶杯附接到动物。

根据本发明的该方面的又一实施方案，该图像数据包含针对一组像素中的每个像素表示光强度值(例如表示灰度值)的数据。该图像处理器还被配置为通过适应强度来调整所述集合中的像素的强度值，该像素表示由来自该至少两个光源中的少于全部的光源的光照射的该至少一个第二对象的该至少一部分的表面上的点。该强度值是在不考虑该阴影效应的情况下计算的，并且该适应强度与光被阻挡而无法到达所述点的该至少两个光源的数目成比例。因此，被阻挡的光源越多，适应强度变得越大。由此，可以使场景中被部分遮挡的对象变得比它们原本的亮度更亮。这例如有助于区分与TOF成像系统相距最远的奶头。

根据本发明的另一方面，该目的通过一种计算机实现的图像处理方法来实现，该方法涉及获得由TOF成像系统配准的图像数据，该图像数据表示由至少两个光源照射的场景，该至少两个光源被校准以使得图像处理器能够产生要被包括在图像数据中的距离数据。该距离数据表示从TOF成像系统到已成像对象上的点的相应距离。该方法还涉及确定是否存在阴影效应，通过该阴影效应，场景中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统中。如果确定存在阴影效应，则该方法包括调整距离数据以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。该方法的优点以及其优选实施方案从以上参考系统的讨论中是显而易见的。

根据本发明的另一方面，该目的是通过一种可加载到与处理单元通信地连接的非易失性数据载体中的计算机程序实现的。该计算机程序包括用于在处理单元上运行该程序时执行上述方法的软件。

根据本发明的另一方面，该目的通过包含上述计算机程序的非易失性数据载体来实现。

本发明的其他优点、有益特征和应用将从以下描述和从属权利要求中显而易见。

附图说明

现在将通过作为示例公开的优选实施方案并参考附图更详细地解释本发明。

图1、图2示意性地示出了根据本发明的第一和第二实施方案的具有相关联光源的TOF成像系统；

图3以侧视图示出了根据本发明的一个实施方案的TOF成像系统的用例的示例；

图4示出了图3中例示的用例的俯视图；

图5a、图5b示出了当TOF成像系统位于距场景两个不同距离处时根据一个实施方案的从TOF成像系统观察到的场景；

图6至图7分别示出了根据本发明的一个实施方案的缺少和包含第一对象和第二对象的场景的侧视图；

图8至图9示出了可如何根据本发明的一个实施方案调整一段距离数据，该距离数据表示到由少于TOF成像系统的所有光源的光源照射的表面上的点的距离；

图10详细示出了根据本发明的一个实施方案的场景中的第一对象如何可以阻挡来自TOF成像系统的光源的光到达场景中的第二对象的各个部分；

图11至图12详细地示出了根据本发明的一个实施方案如何确定区段部分，由于具有相对于TOF成像系统的已知位置和空间延伸的第一对象引起的阴影效应，这些区段部分仅被TOF成像系统的光源的子集照射；

图13示出了根据本发明的一个实施方案的TOF成像系统和图像处理器的框图；并且

图14通过流程图示出了根据本发明的优选实施方案的一般方法。

具体实施方式

在图1中，我们看到根据本发明的第一实施方案的TOF成像系统110的示意图。一组光源121、122、123和124分别围绕TOF成像系统110布置。如果光源121、122、123和124发射红外(IR)光谱中的非可见光，则通常是有利的。然而，不排除光源121、122、123和124发射电磁光谱的其他部分中的光，诸如呈可见光的形式的光。

此处，在一组光源包含四个光源的情况下，光源优选地布置在平行于TOF成像系统110的传感器矩阵的平面中并且彼此成90度角偏移。例如，光源121、122、123和124可以附接到TOF成像系统110的前透镜111周围的框架120。在任何情况下，光源121、122、123和124由与TOF成像系统110的传感器矩阵如何配准图像数据同步的至少一个控制信号C控制。例如，至少一个控制信号C可以控制光源121、122、123和124，使得在从相应光源发射的光束中的每个光束之间存在特定期望的相位延迟。即，图像数据配准与场景的照射之间的这种校准使得相对直接地产生表示从TOF成像系统110到场景中的已成像对象上的不同点的相应距离的距离数据。然而，如果例如公共控制信号C被布置成以串行方式控制所有光源121、122、123和124，并且用于转发公共控制信号C的互连光源121、122、123和124的信号线导致来自不同光源121、122、123和124的光束被发射的相应时间点的未知延迟，则光源121、122、123和124需要被单独地校准到TOF成像系统110的传感器矩阵以使得能够产生准确的距离数据。

图2示意性地示出根据本发明的第二实施方案的TOF成像系统110，其中n个光源121、122、123、…、12n围绕TOF成像系统110以圆形布置均匀地分布。此处，如果如上所述由公共控制信号C控制光源121、122、123、…、12n，并且互连信号线在每个光源之间引入公共控制信号C的相等延迟t

图3和图4分别示出了根据本发明的用于控制挤奶机器人的TOF成像系统的侧视图和俯视图。

图像处理器140在此处被配置为获得由TOF成像系统110配准的图像数据D

为了增强距离数据的质量，图像处理器140被配置为确定是否存在阴影效应，通过该阴影效应，场景100中的至少一个第一对象阻挡来自光源中的至少一个的光到达场景100中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统110中。

在图3和图4所示的示例中，示出了两个这样的阴影效应，即(a)其中呈挤奶杯TC形式的第一对象阻挡来自所有光源121-124的光到达挤奶杯TC后面的阴影区段部分B

如果图像处理器140如上所述确定关于至少一个第二对象的至少一部分存在阴影效应，则图像处理器140调整距离数据以补偿光未到达至少一个第二对象FLT、FRT、RLT和/或RRT的至少一部分的至少一个光源，即121、122、123和/或124。下面将参考图8和图9讨论如何调整距离数据的原理。

根据本发明的一个实施方案，图像处理器140被配置为如下确定阴影效应是否存在。图像处理器140确定到场景100中的潜在遮蔽对象(诸如挤奶杯TC、右前奶头FRT和/或左前奶头FLT)的距离，该潜在遮蔽对象与场景100中的任何其他对象相比位于与TOF成像系统110相距较短的距离处。图像处理器140接着应用反向光线跟踪算法以相对于来自至少两个光源121、122、123和/或124中的至少一个光源的光在场景100中建立被估计为被潜在遮蔽对象TC、FRT和/或FLT遮蔽的区段部分。在图4中，B

优选地，图像处理器140应用逐步过程来确定阴影效应是否存在。具体地，图像处理器140可以被配置为根据以下来执行第一处理步骤、第二处理步骤和第三处理步骤。

在第一处理步骤中，图像处理器140确定场景100中另一潜在遮蔽对象的空间位置。与场景100中尚未被包括在以上候选组中的任何其他对象相比，另一潜在遮蔽对象位于与TOF成像系统110相距较短的距离处。

在第二处理步骤中，图像处理器140应用所述反向光线跟踪算法以相对于来自至少两个光源121、122、123和/或124中的至少一个光源的光在场景100中建立被估计为由另一潜在遮蔽对象遮蔽的至少一个区段部分。

在第三处理步骤中，在确定阴影效应是否存在时，图像处理器140包括候选组中的另一潜在遮蔽对象，从该候选组选择至少一个第一对象TC、FLT和/或FRT。

出于精度原因，如果图像处理器140被配置为重复第一处理步骤、第二处理步骤和第三处理步骤直到已经满足停止标准，则这是期望的。可以响应于对图像处理器140的时间约束和/或处理能力约束来设置停止标准。

图5a示出了根据本发明的一个实施方案的从TOF成像系统110观察到的场景100，其中TOF成像系统110位于距场景100第一距离处。图5b示出了从TOF成像系统110观察到的图5a中的场景100，其中TOF成像系统110位于距场景100的第二距离处，该第二距离短于该第一距离。因此，从第一距离配准的图像数据D

图6示出了没有任何对象的场景100的侧视图，并且图7示出了分别包含第一对象TC和第二对象FRT的场景100的对应侧视图。为了清楚起见，我们假设仅两个光源121和122围绕TOF成像系统110布置。此处，光源121和122以线性配置布置，即，其中每个光源在平行于TOF成像系统110的传感器的平面中与其最近的相邻光源具有180度的空间角度。我们进一步假设TOF成像系统110具有视场FV

在图7中，场景100包含呈奶头FRT形式的这种所关注的关键对象。场景100还包含挤奶杯TC，该挤奶杯将通过挤奶机器人(未示出)附接到奶头FRT。由于通常挤奶机器人控制挤奶杯TC从下面稍微接近奶头FRT，因此与布置在TOF成像系统110上方的光源122的光锥LC

应注意，本文档中示出的TOF成像系统110的视场和光源的照射的相应角宽度仅用于说明性目的。优选地，光源应当具有比图中所示的更宽的照射区段部分，例如大约150至170度。如果TOF成像系统110的视场也比附图中所示的稍微更宽，则通常是有利的。

现在参考图8，我们将解释图像处理器140如何根据本发明的一个实施方案调整距离数据d

让我们在此假设该表面表示呈对于图7中的TOF成像系统110可见的奶头FRT形式的第二对象。此处，表面的上部FRT

TOF成像系统110被设计成确定TOF成像系统110中的传感器810与反射来自光源121和122的光的物体上的相应点之间的视线距离d

如以上参考图1和图2简要说明的，TOF成像系统110被校准以接收来自所有光源的反射光以便准确地产生距离数据。

现在参考图9，我们看到一个图，其中水平轴表示几段距离数据d

类似地，如果来自光源121的光相对于表面被遮蔽，则TOF成像系统110将替代地将到该表面的正交距离确定为稍短的距离，更精确地，确定的量等于测量值-d

实际上，对于给定的TOF成像系统110，并且对于由TOF成像系统110确定的每段距离数据d

根据本发明的一个实施方案，图像处理器140被配置为通过将表示到遮蔽表面上的点的距离的一段距离数据d

例如，如果系统被设置为在相对短且已知的距离范围内操作，诸如在挤奶设备中，则预先登记适应量d

图13示出根据本发明的一个实施方案的TOF成像系统110和图像处理器140的框图，其中图像处理器140通信地连接到查找表1350。查找表1350包含表示光源121、122、123和/或124的每个可能组合的适应量d

通常有利的是，图像处理器140被配置为通过执行计算机程序1327以自动方式实现上述过程。因此，图像处理器140可包括存储计算机程序1325的存储器单元1326(即，非易失性数据载体)，该存储器单元又包含用于在至少一个处理器1325上运行计算机程序1327时使图像处理器140中的呈至少一个处理器1327的形式的处理电路执行本公开中所提及的动作的软件。

根据本发明的一个实施方案，图像数据D

此处，我们假设像素表示第二对象的至少一部分的表面FLT

图10示出了关于场景100中的第一对象FLT如何可以阻挡来自TOF成像系统110的光源121、122、123和124的光，使得该光不到达场景100中的第二对象RLT的部分的进一步细节。特别地，参考图10，我们将讨论根据本发明的实施方案，图像处理器140可以如何调整由TOF成像系统110确定的距离数据d

根据本发明的一个实施方案，图像处理器140被配置为确定表示到第二对象RLT的第一表面区域ARLT

当然，如果图像处理器140能够假设至少一个第二对象RLT具有通常已知的形状，则能够改进外推。例如，如果场景100包含挤奶位置，并且至少一个第二对象RLT是挤奶动物的奶头，则可以应用这种类型的外推。实际上，在挤奶场景中，至少一个第二对象RLT的特定形状可以以相对高的精度已知。即，如果挤奶动物被识别，则每个动物的每个奶头的物理特性可能已经被测量并存储在图像处理器140访问的数据库中。因此，即使这些表面中的一些相对于与TOF成像系统110相关联的光源121、122、123和/或124中的一个或多个被部分地遮挡，图像处理器140也可以以非常高的精度确定到奶头的表面的距离。

除了场景100中的对象因光源发射的光而彼此遮蔽之外，由于总是存在于TOF成像系统110前方并且例如形成挤奶机器人的一部分的已知对象，可能发生阴影效应。图11和图12分别以侧视图和俯视图示出了这种情况的示例。更精确地，如果存在具有相对于TOF成像系统110的已知位置和空间延伸的第一对象TC，则可以先验地确定区段部分，由于第一对象TC由于其相对于TOF成像系统110的位置和空间延伸而引起的阴影效应，这些区段部分仅被TOF成像系统110的光源121、122、123和124的子集照射。

根据本发明的一个实施方案，图像处理器140被配置为调整由TOF成像系统110确定的距离数据d

类似地，参考图12，图像处理器140被配置为将第四区段部分S

为了总结并且参考图14中的流程图，现在将描述根据本发明的优选实施方案的计算机实现的图像处理方法。

在第一步骤1410中，获得图像数据D

此后，步骤1420确定是否存在阴影效应，通过该阴影效应，场景100中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景100中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统110中。如果确定存在阴影效应，则进行步骤1430，否则该过程循环回到步骤1410。

在步骤1430中，调整由TOF成像系统110产生的距离数据d

参考图14描述的所有处理步骤以及步骤的任何子序列可以通过编程的处理器来控制。此外，尽管以上参考附图描述的本发明的实施方案包括处理器和在至少一个处理器中执行的处理，但是本发明因此还扩展到适于将本发明付诸实践的计算机程序，特别是载体上或载体中的计算机程序。该程序可以是源代码、目标代码、代码中间源和诸如部分编译形式的目标代码的形式，或者是适于在根据本发明的过程的实现中使用的任何其他形式。该程序可以是操作系统的一部分，或者是单独的应用程序。载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如闪速存储器、ROM(只读存储器)，例如DVD(数字视频/通用盘)、CD(压缩盘)或半导体ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或磁记录介质，例如软盘或硬盘。此外，载体可以是可传输载体，诸如电信号或光信号，其可以经由电缆或光缆或通过无线电或通过其他手段来传送。当程序体现在信号中时，该信号可以通过电缆或其他设备或装置直接传送，载体可以由这种电缆或设备或装置构成。或者，载体可以是其中嵌入了程序的集成电路，该集成电路适于执行相关处理或者用于相关处理的执行。

通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时能够理解和实现所公开的实施方案的变型。

当在本说明书中使用时，术语“包括(comprises/comprising)”用于指定所述特征、整数、步骤或部件的存在。该术语不排除存在或添加一个或多个附加元件、特征、整数、步骤或部件或它们的群组。不定冠词“一(a)”或“一个(an)”不排除多个。在权利要求中，词语“或”不应被解释为异或(有时称为“XOR”)。相反，诸如“A或B”的表述涵盖所有情况“A和非B”、“B和非A”以及“A和B”，除非另有说明。在相互不同的从属权利要求中记载某些措施这一事实并不表示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为限制范围。

还应注意，来自本文所述的各种实施方案的特征可自由组合，除非明确陈述此组合将是不适合的。

本发明不限于附图中描述的实施方案，而是可以在权利要求的范围内自由地变化。