用于对运动的对象进行三维测量的方法和装置

摘要

本发明涉及一种用于对运动的对象进行三维测量的方法和装置，该方法具有如下方法步骤：基于成像参数计算潜在的对象点的轨迹，成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由所述N个图案组成的第二图像序列相关并且与运动的对象的运动数据相关，基于潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在第一图像序列中的第一图像点轨迹以及在第二图像序列中的第二图像点轨迹，将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

说明书

本申请是申请日为2017年6月20日、申请号为201780045560.0(国际申请号PCT/EP2017/065118)、发明名称为“用于在已知运动的情况下对运动的对象进行三维测量的方法”的发明专利申请的分案申请。

技术领域

本发明涉及一种用于对运动的对象进行三维测量的方法。对此的一个示例是对在流水线上运动的部件的测量(其中，传感器自身相对于流水线固定地布置)或大的对象的测量(其中，由一种设备、尤其是机械手或坐标测量机使3D传感器连续地在测量对象之上运动)。

背景技术

对于所提及的应用，通常使用具有激光-线-三角测量的3D传感器。这些3D传感器相对于在对象与传感器之间的相对运动是不敏感的。然而在这类传感器的情况下始终仅测量在测量对象上的一条线。然而通过传感器或对象的运动可以进行许多单次的测量，所述测量可以组合成面式的测量。

也能够使用具有两个摄像机和一个投影器的面式的3D传感器，利用该投影器投影图案序列。在此，涉及摄影测量学的具有在时间上变化的结构化照明的方法。在此，利用一次测量可以采集大的面积，从而在最短的时间内(特别是相比于基于激光-线-三角测量的方法)能够实现面式的3D测量。然而这样的方法相对于运动是非常敏感的。

由此，对于该方法的重要的前提是：每个图像点在整个拍摄时间期间映射相同的对象点。测量对象和传感器都不允许在测量期间相对于彼此运动。

已经存在用于补偿在拍摄图案图像序列期间的运动的方式。这些方式中的一个方式例如在Harendt,B.；Grosse,M.；Schaffer,M.&Kowarschik,R.的“3D shape measurementof static and moving objects with adaptive spatiotemporal correlation”《Applied Optics》，2014，53，7507-7515中或在Breitbarth,A.；Kuehmstedt,P.；Notni,G.&Denzler,J.的“Motion compensation for three-dimensional measurements ofmacroscopic objects using fringe projection”《DGaO Proceedings》，2012、113中描述。

这些已知的方式迭代地工作。在此首先执行粗略的对运动不敏感的测量。该测量的结果接着被用来补偿运动并且在利用时间上的特征的情况下执行点分配。

这些方式的缺点在于迭代的方法，该方法显著限制3D测量的准确性。

发明内容

由此，存在如下任务：一方面构成相对于运动不敏感的面式的3D采集，并且另一方面克服迭代式采集的缺点。

该任务通过一种用于对运动的对象进行三维测量的方法解决，所述方法具有如下方法步骤：

基于成像参数计算潜在的对象点的轨迹，所述成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由所述N个图案组成的第二图像序列相关并且与所述运动的对象的运动数据相关，

基于所述潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在所述第一图像序列中的第一图像点轨迹以及在所述第二图像序列中的第二图像点轨迹，

将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，

基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

根据一种实施形式，将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较包括：

由所述第一图像序列求得第一灰度值系列，并且由所述第二图像序列求得第二灰度值系列，和

确定所述第一灰度值系列和所述第二灰度值系列的相似度。

在一种实施形式中，第一传感器拍摄所述第一图像序列，第二传感器拍摄所述第二图像序列，并且所述第一传感器与第二传感器同步。

在一种实施形式中，由N个图案组成的第二图像序列投影到运动的对象上。

此外，本发明还涉及一种用于对运动的对象进行三维测量的装置，该装置包括与存储器进行通信的处理器，所述处理器设置用于执行存储在所述存储器中的指令，所述指令引起处理器执行包括下列步骤的方法：

基于成像参数计算潜在的对象点的轨迹，所述成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由所述N个图案组成的第二图像序列相关并且与所述运动的对象的运动数据相关，

基于所述潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在所述第一图像序列中的第一图像点轨迹以及在所述第二图像序列中的第二图像点轨迹，

将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，

基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

此外，本发明还涉及一种非暂时的计算机可读存储介质，该计算机可读存储介质存储有用于对运动的对象进行三维测量的指令，当所述指令被处理器执行时引起该处理器执行包括下列步骤的方法：

基于成像参数计算潜在的对象点的轨迹，所述成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由所述N个图案组成的第二图像序列相关并且与所述运动的对象的运动数据相关，

基于所述潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在所述第一图像序列中的第一图像点轨迹以及在所述第二图像序列中的第二图像点轨迹，

将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，

基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

此外，该任务也可利用一种用于在运动的对象与至少两个传感器相对运动期间对运动的对象进行三维测量的方法解决，所述方法具有如下方法步骤：

基于成像参数计算潜在的对象点的轨迹，所述成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由投影到所述运动的对象上的所述N个图案组成的第二图像序列相关并且与所述运动的对象的运动数据相关，其中，所述至少两个传感器中的第一传感器拍摄第一图像序列，并且所述至少两个传感器中的第二传感器拍摄第二图像序列，

基于所述潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在所述第一图像序列中的第一图像点轨迹以及在所述第二图像序列中的第二图像点轨迹，

将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，

基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

本发明还涉及一种用于在运动的对象与至少两个传感器相对运动期间对运动的对象进行三维测量的装置，该装置包括与存储器进行通信的处理器，所述处理器设置用于执行存储在所述存储器中的指令，所述指令引起处理器执行包括下列步骤的方法：

基于成像参数计算潜在的对象点的轨迹，所述成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由投影到所述运动的对象上的所述N个图案组成的第二图像序列相关并且与所述运动的对象的运动数据相关，其中，所述至少两个传感器中的第一传感器拍摄第一图像序列，并且所述至少两个传感器中的第二传感器拍摄第二图像序列，

基于所述潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在所述第一图像序列中的第一图像点轨迹以及在所述第二图像序列中的第二图像点轨迹，

将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，

基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

本发明还涉及一种非暂时的计算机可读存储介质，该计算机可读存储介质存储有用于在运动的对象与至少两个传感器相对运动期间对运动的对象进行三维测量的指令，当所述指令被处理器执行时引起该处理器执行包括下列步骤的方法：

基于成像参数计算潜在的对象点的轨迹，所述成象参数与由投影到所述运动的对象上的N个图案组成的第一图像序列和由投影到所述运动的对象上的所述N个图案组成的第二图像序列相关并且与所述运动的对象的运动数据相关，其中，所述至少两个传感器中的第一传感器拍摄第一图像序列，并且所述至少两个传感器中的第二传感器拍摄第二图像序列，

基于所述潜在的对象点的轨迹和与所述第一图像序列和第二图像序列相关的成像参数，求得在所述第一图像序列中的第一图像点轨迹以及在所述第二图像序列中的第二图像点轨迹，

将沿着第一图像点轨迹的图像点与沿着第二图像点轨迹的图像点进行比较，以确定在所述第一图像点轨迹与第二图像点轨迹之间存在对应性，

基于相对应的第一图像点轨迹和第二图像点轨迹，对所述运动的对象进行三维测量。

此外，该任务也可利用根据一种用于在对象与起测量作用的传感器之间的相对运动已知的情况下对运动的对象进行三维测量的方法来解决。所述方法具有如下方法步骤：

将由N个图案组成的图案序列投影到运动的对象上，

通过第一摄像机采集由N个图像组成的第一图像序列并且通过第二摄像机采集同步于所述第一图像序列的由N个图像组成的第二图像序列，

求得在所述第一图像序列中和在所述第二图像序列中相互对应的图像点，其中，

对于两个摄像机的、应在对应性上被检查的每对图像点，由摄像机系统的成像参数并且由已知的运动数据计算潜在的对象点的轨迹，所述潜在的对象点在两个图像点实际上相对应时由所述两个图像点映射出，并且由此将在摄像机的N个拍摄时间点中的每个拍摄时间点所确定的对象点位置模拟地分别映射到所述第一摄像机的图像平面中和所述第二摄像机的图像平面中，其中，将相应的图像点的位置在所述第一摄像机中确定为第一图像点轨迹，并且在所述第二摄像机中确定为第二图像点轨迹，并且在所拍摄的图像序列中沿着之前确定的时间空间上的图像点轨迹将所述图像点相互比较并且在对应性上进行检验，

在最后的步骤中，由相对应的图像点借助于三角测量进行所述运动的对象的三维测量。

对于该解决方案的前提是：测量对象相对于传感器的相对运动的信息是已知的(例如在利用传感器测量流水线上的对象的情况下或在利用传感器测量静态的对象的情况下，该传感器通过机械手在测量对象之上运动)。

用于在已知运动数据的情况下对运动的对象进行三维测量的方法以如下方法步骤来实施：

进行由N个图案组成的图案序列到运动的对象上的投影。

接着，通过第一摄像机进行对由N个图像组成的第一图像序列的采集，并且通过第二摄像机进行对同步于第一图像序列的由N个图像组成的第二图像序列的采集。

然后在第一图像序列中并在第二图像序列中求得相互对应的图像点，其中，由已知的运动数据计算潜在的对象点的轨迹并且由此将确定的对象位置分别投影到第一摄像机和第二摄像机的图像平面上，其中，将相应的图像点的位置在第一摄像机中提前确定为第一图像点轨迹，并且在第二摄像机中提前确定为第二图像点轨迹。

沿着提前确定的图像点轨迹相互比较图像点并且对于对应性进行检验。在最后的步骤中，由相对应的图像点借助于三角测量进行对运动的对象的三维测量。

在一种实施方式中，在沿着提前确定的第一图像点轨迹和第二图像点轨迹比较图像点时，在第一摄像机中求得第一灰度值系列，并且在第二摄像机中求得第二灰度值系列，并且确定第一灰度值系列和第二灰度值系列的相似度。

视实施方式而定，在确定灰度值系列的相似度时实施归一化交叉相关、绝对差总和和/或相位评估。

在一种实施方式中，将一序列静态图案用作投影的图案序列。

例如可以将一序列移相的、正弦形的条形图案用作投影的图案序列。

也可以将如下静态图案用作投影的图案序列，所述静态图案在测量对象上的投影以任意方式在位置和/或形状方面改变。

附图说明

下面应借助实施例更详细地阐释该方法。附图中：

图1示出该方法的几何的图示，

图2和3示出取决于时间的示例性的图像点轨迹。

具体实施方式

根据本发明的方法基于如下基本构思：

在已知对象点在一个时间点处于哪个位置上(位置向量)并且已知该对象点从那开始如何运动(移动向量)这一前提下能够预测，那个对象点的相应的图像点在经校准的摄像机系统的摄像机中如何运动。关于运动的这个信息可以被利用，其方式为，在将相对应的图像点进行分配时不是将固定的像素的时间上的灰度值系列相互比较，而是在两个摄像机的图像平面中沿着对象点的图像点的轨迹将时间上的灰度值系列进行比较。

如果存在刚性的平移运动，那么所有对象点的运动(即其移动向量)相同。在流水线的情况下可以通过校准流水线的运动方向来确定该运动。尽管如此，当相应的对象点的远离未知时仍不可以预测图像点在摄像机中的运动，因为对象点离图像采集设备越远，图像点在图像平面中的移动就越小。即除了运动信息以外，也需要关于对象点的位置的信息，用来补偿该对象点的运动。

虽然原则上可行的是，迭代地解决该问题，并且首先利用对运动不敏感的方法粗略地确定所有对象点的位置向量并由此估计所述对象点在传感器摄像机中的两个传感器摄像机的图像中的轨迹。然而这是非常不准确的。

根据本发明的方法在没有这类迭代的方法的情况下是够用的。相反地，此处应用如下情况，当将两个图像点的灰度值系列相互比较时，此时实际上也隐性地检查，这两个图像点是否映射相同的对象点。由此隐性地检验，该可能的对象点是否处于空间中的完全确定的部位上、即处于如下部位上，在该处这两个图像点的视束相交。在偏斜的视束的情况下，这相应于如下部位，该部位相对于两个视束具有最小的间距。即在每次比较图像点时检查如下假设：对象点是否处于空间中的相应的位置上。

当现在比较两个图像点时假设：所搜索的对象点实际上处于如下位置上，在该位置上所述图像点的视束至少近似相交时，则可以在了解测量对象的运动的情况下预测，相应的图像点在两个摄像机中在对象点运动时如何改变。为此，由对象点的位置向量和运动数据首先构造对象点的轨迹。该轨迹此时借助于摄像机系统的校准数据投影回到两个摄像机的图像平面中。即在摄像机的每个拍摄时间点计算：潜在的对象点在该时间点处于何处，并且将这个在一定程度上模拟的3D位置嵌入、也就是说投影到两个摄像机的图像平面中。

为了检查两个图像点的相似度，由此根据本发明不像在静态的对象的情况下根据图2在图像平面中固定的这些图像点上比较时间上的灰度值。相反地，根据图1和3沿着时间上的图像点-轨迹比较灰度值。

该方法当然不仅仅限于平移运动。如果相应的运动数据已知，则刚性的测量对象的任意运动、即还有旋转的运动可以得到补偿。理论上，如果可以获得相应的运动数据，也可以补偿对象的变形。

该方法如下来实施。

首先，从外部预定关于测量对象的运动的信息。在流水线的情况下，可以为此提前校准运动方向。此外，流水线的当前的运动速度和/或位置可以通过流水线的编码器或另一位置测量装置来求得。

接着，投影由N个图像组成的图案图像序列并且以两个同步的摄像机来拍摄。即每个摄像机采集具有投影上的图案的测量对象的相应N个图像的图像序列。在拍摄期间，测量对象以已知的运动来运动。

由N个图像组成的图案图像序列例如可以由移相的正弦形的条形图案组成和/或由随机的图案、例如带宽受限的静态图案组成。通过将单个的图案投影到测量对象上并且在那里以任意方式在位置和/或形状方面改变，也可以产生图案序列(即例如如下静态图案，该图案连续地在测量对象之上的圆形轨道上移动)。后一个示例示出：“图案图像序列”这一概念不应如此狭窄地理解，即图案图像序列始终必须由一离散的序列的N个不同的、被投影到测量对象上的图案图像组成。

在所拍摄的图像序列中搜索相对应的图像点(也就是说映射相同对象点的图像点)，其方式为，对于一个摄像机的每个像素在另一个摄像机中搜索到如下像素，该像素与前一像素点具有最高的相似度。

来自两个摄像机的两个像素的相似度例如如下地确定，其中，在这点上参考图1的图示。

首先通过三角测量来确定：当两个像素9和16实际上映射相同的对象点时，相应的对象点5处于何处。

由测量对象的已知的运动信息(尤其是17和18)在三维中重建潜在的对象点5的轨迹19，从而在所拍摄的图案图像序列5、6、7、…、8的每个拍摄时间点t＝1、2、3、…、N，运动的对象点的潜在的位置已知：P(t＝1)、P(t＝2)、P(t＝3)、…、P(t＝N)。这在此通过附图标记5、6、7、…、8来表明。

对象点的现在在图案图像序列的每个拍摄时间点已知的位置分别向回投影到摄像机的具有投影中心3和4的图像平面1和2中。在此处所示出的示例中在光学上应用针孔相机模型，但是原则上其它相机模型也是可行的。

通过该投影得到潜在的对象点在摄像机图像中的图像点的轨迹21和20。由此对于两个摄像机和每个拍摄时间点t已知映射潜在的对象点的图像点的位置。详细地，对于摄像机1，这是图像点B1(t＝1)、B1(t＝2)、B1(t＝3)、…、B1(t＝N)(此处通过附图标记9、10、11、12来表明)，并且对于摄像机2，这是图像点B2(t＝)、B2(t＝2)、B2(t＝3)、…、B2(t＝N)(此处通过附图标记16、15、14和13来表明)。

接着，沿着两个图像点轨迹21、20提取灰度值系列，更确切地说对于摄像机1提取灰度值系列G1(t＝1)、G1(t＝2)、G1(t＝3)、…、G1(t＝N)，并且对于摄像机2提取灰度值系列G2(t＝1)、G2(t＝2)、G2(t＝3)、…、G2(t＝N)。例如G2(t＝3)表示在摄像机2中在拍摄序列的第三个图像中的图像点B2(t＝3)上的灰度值。

在图3中，此处以时间空间上的图示给出图像点轨迹21和20。由此，随着的拍摄时间的前进，不同的图像点被激励，该激励的位置由此在相应的摄像机的拍摄场上移动。为了比较，图2示出时间空间上的轨迹走向，在该轨迹走向的情况下，图像点在前进的拍摄时间的情况下在位置上分别保持恒定，如在静态的测量对象情况下那样。来自图2的两个轨迹像来自图3那样配设有相应的灰度值系列，并且两个轨迹可以在方法方面被完全等价地处理。

因为图像点通常处于亚像素部位上，所以也可以从相邻像素的强度值来插值相应的强度值。

接着，确定灰度值系列的相似度。归一化交叉相关可以用作相似度度量方式。然而其它的相似度度量方式、例如绝对差总和或相位评估同样是可行的。相似度度量方式的选择取决于投影的图案的类型。在静态图案的情况下尤其提供归一化交叉相关，在移相的正弦形的条形图案的情况下特别地提供相位评估。

当摄像机2中的图像点关于摄像机1中的那个图像点具有摄像机2中的所有图像点中最高的相似度时，该摄像机2中的图像点作为相对应的图像点被指派给摄像机1中的图像点。必要时，摄像机2中的搜索区域可以限于在光学上或几何结构上有意义的局部上、例如限于所谓的核线上。

在需要时，具有最大相似度的点对应性也可以在亚像素上准确地确定。明显的是：所描述的用于评价两个图像点的相似度的方法也可以被应用在亚像素部位上。

然后，由相对应的图像点以惯常的方式借助于三角测量来重建3D点。

根据应在哪个时间点t＝、2、3、…或N重建测量对象，在三角测量的情况下必须被用作相对应的图像点偶对(B1(t＝1)、B2(t＝1))、(B1(t＝2)、B2(t＝2))、(B1(t＝3)、B2(t＝3))、…或(B1(t＝N)、B2(t＝N))，此处通过附图标记(9、16)、(10、15)、(11、14)、…或(12、13)来表明。

所描述的方法不仅仅限于平移运动。也可以补偿旋转或由平移和旋转组成的组合。

图像点轨迹21和20的复杂性取决于运动的复杂性。在任意平移和旋转的情况下，轨迹的位置和形状取决于相应的图像点偶对9、16。在直线的平移运动的情况下、例如在流水线上的测量对象的情况下，图像点轨迹简化成直线。这至少在无畸变的摄像机情况下是这种情况，所述无畸变的摄像机对于针孔相机模型是足够的。

理论上，如果可以求得并且存在相应的运动信息，甚至可以补偿任意运动、即也可以补偿变形。在平移和旋转的情况下这能够毫无问题地实现。如果例如将传感器固定在机械手上并且尤其是在所谓的手眼校准的范围内校准传感器相对于机械手凸缘的位置和定位，那么机械手可以在每个时间点以信号指示传感器在机械手坐标系中的当前的位置和定向。对于相对于机械手坐标系不运动的对象点，由该信息可以确定该不运动的对象点在运动的传感器坐标系中的轨迹。

可运动的3D传感器相对于静态的测量对象的运动也可以同步于通过3D传感器对测量对象所进行的采集借助于附加的传感器(不一定是光学传感器)来确定。例如可以将标记固定在初级3D传感器上，所述标记的运动由附加的摄像机来跟踪，并且由所述标记的运动求得3D传感器相对于静态的测量对象的位置改变。该运动信息然后可以在所描述的方法的范围内在测量对象的三维重建时得到补偿。

3D传感器和测量对象的相对运动也可以通过3D传感器自身来确定。例如在所描述的方法的范围内，静态图案可以被用于图案投影，并且每个同步地拍摄的立体图像偶对(t＝1、t＝2、…、t＝N)可以附加地单独地利用虽然对运动不敏感、但是粗略的空间上的相关性来进行评价。结果是，在每个拍摄时间点t＝1、t＝2、…、t＝N得到测量对象的相对粗略的、也就是说密集但是不精确地重建的点云。如果将来自分别相继的拍摄时间点t＝i和t＝i+1(i＝1、2、…、N-1)的点云借助于ICP方法(迭代最近点)相一致，则得到关于测量对象在t＝i与t＝i+1之间的相对运动、也就是说移动和旋转的信息，并由此，当该步骤对于i＝1至i＝N-1执行时，得到关于测量对象从t＝1至t＝N的整个轨迹的信息。该运动信息然后可以在所描述的方法范围内在测量对象的三维重建时得到补偿。

类似于之前所描述的用于获得运动信息的方式，测量对象相对于3D传感器的运动也可以通过附加的与3D传感器刚性连接的且相对于3D传感器经校准的传感器来求得。该附加的传感器同步于本来的3D传感器地采集测量对象并且在每个拍摄时间点t＝1、t＝2、…、t＝N提供测量对象的粗略的点云。由这些粗略的点云可以以之前所描述的方式借助于ICP方法来获得运动信息。附加的传感器的优点在于，该附加的传感器可以特定地针对如下任务，即提供精确的运动信息。视哪种方法提供最好的运动信息而定，该附加的传感器可以基于对运动不敏感的方法，所述方法提供被研究的测量对象的或是少量精确的或是许多不精确的测量点。

根据本发明的方法借助实施例来阐释。在本领域技术人员的技术手段的范围内，另外的实施方式是可行的。