三维测量设备、处理方法和非暂态计算机可读存储介质

摘要

一种三维测量设备选择与目标物体的三维形状模型的几何特征对应的点，基于指示目标物体的位置和取向的近似值以及距离图像的成像时的成像参数将与几何特征对应的多个所选点投影到距离图像上，分别从多个投影点对预定范围的区域搜索与三维形状模型的几何特征对应的距离图像上的几何特征，并使这些几何特征相互关联。该设备然后使用被相互关联的三维形状模型的几何特征和距离图像上的几何特征之间的三维空间上的距离的差，计算目标物体的位置和取向。

说明书

技术领域

本发明涉及三维测量设备、处理方法和非暂态（non-transitory） 计算机可读存储介质。

背景技术

近年来，随着机器人（robot）技术的发展，机器人执行直到现在 被手动执行的复杂任务（例如，工业产品的组装处理）。这种机器人 通过用诸如手的末端效应器夹持部件来组装部件。

为了控制机器人夹持部件，必须测量（估计）要被夹持的部件与 机器人（手）之间的相对位置和取向。不仅在机器人夹持部件时，而 且出于诸如机器人自主移动所需的自身位置估计和扩张现实感中的真 实空间与假想物体之间的配准（registration）的各种目的，使用这种 位置和取向测量。

在位置和取向测量中，使用由照相机捕获的二维图像和从距离传 感器（range sensor）获得的距离图像（range image）的方法是已知 的。例如，通过模型拟合（fitting）的测量是已知的。在测量中，对 于从二维图像检测到的特征或距离图像拟合物体的三维形状模型。

在对于二维图像的模型拟合中，通过对于从二维图像检测到的特 征拟合通过将三维形状模型投影到图像上获得的投影图像，测量位置 和取向。在对于距离图像的模型拟合中，距离图像的各点被转换成具 有三维坐标的三维点群，并且对于三维空间上的三维点群拟合三维形 状模型，由此测量位置和取向。

作为使用二维图像测量位置和取向的方法，使用边缘测量照相机 的位置和取向的方法是已知的（T.Drummond and R.Cipolla, “Real-time visual tracking of complex structures,”IEEE  Transactions on Pattern Analysis and Machine Intelligence,vol.24, no.7,pp.932-946,2002.（以下将称为参考文献1））。对于该方法， 物体的三维形状由线段的集合（线框模型）表示，并且对于在图像上 检测到的边缘拟合三维线段的投影图像，由此测量物体的位置和取向。 更具体而言，三维线段基于位置和取向的近似值被投影到图像上，以 检测投影的线段的附近的边缘。接下来，通过非线性优化测量目标物 体的位置和取向，以使基于位置和取向的近似值的线段的投影图像与 对应边缘之间的图像上的距离的总和最小化。

另一方面，作为使用距离图像测量位置和取向的方法，使用ICP （迭代最近点）算法的方法是已知的（P.J.Besl and N.D.McKay,“A method for registration of 3-D shapes,”IEEE Transactions on Pattern  Analysis and Machine Intelligence,vol.14,no.2,pp.239-256,1992. （以下将称为参考文献2））。对于该方法，通过对于从距离图像转 换的三维点群数据拟合物体的三维形状模型，测量物体的位置和取向。 用于基于位置和取向的近似值搜索最接近三维点的三维形状模型的几 何特征、并更新位置和取向以使点与三维模型的几何特征之间的距离 的总和最小化的处理被迭代执行。

使用距离图像测量物体的位置和取向的方法在搜索与点群数据的 各点对应的三维形状模型的平面时需要重负荷的算法处理。为了应对 这一点，日本专利公开No.2006-202152（以下将称为参考文献3）公 开了加速多个距离图像的配准时的关联搜索处理的技术。在该方法中， 对于距离图像拟合分配有指标值（index value）的小的平面（网格 （mesh）），指标值被转换成非重叠颜色以获得网格的颜色，并且通 过基于距离图像的成像位置和取向描绘（render）网格来产生指标图 像。然后，从另一距离图像转换的三维点群基于成像时的位置和取向 被投影到指标图像上，并且从投影的三维点的坐标值获取指标图像上 的对应颜色。之后，与获取的颜色对应的指标值被逆转换，以使网格 与从距离图像转换的三维点关联。以这种方式，关联搜索处理被加速。

在上述的使用指标图像的配准方法（参考文献3）中，为了使多 个距离图像的位置配准，从距离图像提取的所有三维点被投影到二维 图像上以使它们相互关联。出于该原因，例如，当从包含目标物体以 外的物体的图像测量目标物体的位置和取向时，由于包含目标物体以 外的物体的测量点的所有测量点必须被致密地投影，因此导致浪费性 的处理。

在参考文献3的方法的情况下，依赖于三维形状模型，模型必须 被重新划分网格，以防止网格在投影时破损。出于这种原因，难以原 样使用目标物体的CAD模型作为三维形状模型。并且，为了以高速 在二维平面上描绘网格，需要诸如GPU（图形处理单元）的专用硬件。

并且，在参考文献1的方法的情况下，作为三维形状模型的几何 特征的所有线段以及目标物体的后表面（不被测量的部分）上的线段 必须被投影到图像上。由此，参考文献1的方法也需要浪费性的处理。

在这种情况下，使用二维图像的方法适于例如包含许多的以线为 基调（premise）的人造物体的环境，并且使用距离图像的方法适于例 如具有多个平滑平面的物体。

由于使用二维图像的方法和使用距离图像的方法需要将被测量的 信息的不同性能，因此，期望通过组合对于二维图像的模型拟合和对 于距离图像的模型拟合来改善位置和取向测量精度。在对于二维图像 的模型拟合中，如上所述，执行用于将诸如边缘的三维形状模型的几 何特征投影到二维图像上、并在二维图像上搜索对应的几何特征的处 理。在对于距离图像的模型拟合中，如上所述，作为三维形状模型的 几何特征的替代，投影测量点。即，这些方法使用不同的关联方法。

出于这种原因，不能使用同样的构架执行关联处理，并且必须在 使用二维图像和距离图像两者测量目标物体的位置和取向时独立地执 行该关联处理。

发明内容

本发明提供使得能够通过有效地进行在使三维形状与测量数据相 互关联时执行的算术运算来加速目标物体的位置和取向计算的技术。

根据本发明的第一方面，提供一种三维测量设备，该三维测量设 备包括：图像获取装置，用于获取像素代表离目标物体的距离的距离 图像；近似值获取装置，用于获取指示目标物体的位置和取向的近似 值；选择装置，用于选择与目标物体的三维形状模型的几何特征对应 的点；投影装置，用于基于指示目标物体的位置和取向的近似值以及 距离图像的成像时的成像参数，将由所述选择装置选择的与几何特征 对应的多个点投影到距离图像上；搜索装置，用于分别从多个投影点 对预定范围的区域搜索与三维形状模型的几何特征对应的距离图像上 的几何特征，并使所述几何特征相互关联；以及位置/取向计算装置， 用于使用通过所述搜索装置相互关联的三维形状模型的几何特征和距 离图像上的几何特征之间的三维空间上的距离的差，计算目标物体的 位置和取向。

根据本发明的第二方面，提供一种用于计算目标物体的位置和取 向的三维测量设备的处理方法，其特征在于包括：获取像素代表离目 标物体的距离的距离图像的步骤；获取指示目标物体的位置和取向的 近似值的步骤；选择与目标物体的三维形状模型的几何特征对应的点 的步骤；基于指示目标物体的位置和取向的近似值以及距离图像的成 像时的成像参数、将与几何特征对应的多个所选点投影到距离图像上 的步骤；分别从多个投影点对预定范围的区域搜索与三维形状模型的 几何特征对应的距离图像上的几何特征、并使所述几何特征相互关联 的步骤；以及使用被相互关联的三维形状模型的几何特征和距离图像 上的几何特征之间的三维空间上的距离的差、计算目标物体的位置和 取向的步骤。

根据本发明的第三方面，提供一种存储计算机程序的非暂态计算 机可读存储介质，所述计算机程序用于控制被并入用于计算目标物体 的位置和取向的三维测量设备中的计算机，以用作：图像获取装置， 用于获取像素代表离目标物体的距离的距离图像；近似值获取装置， 用于获取指示目标物体的位置和取向的近似值；选择装置，用于选择 与目标物体的三维形状模型的几何特征对应的点；投影装置，用于基 于指示目标物体的位置和取向的近似值以及距离图像的成像时的成像 参数，将由所述选择装置选择的与几何特征对应的多个点投影到距离 图像上；搜索装置，用于分别从多个投影点对预定范围的区域搜索与 三维形状模型的几何特征对应的距离图像上的几何特征，并使所述几 何特征相互关联；以及位置/取向计算装置，用于使用通过所述搜索装 置相互关联的三维形状模型的几何特征和距离图像上的几何特征之间 的三维空间上的距离的差，计算目标物体的位置和取向。

从（参照附图）对示例性实施例的以下描述，本发明的进一步的 特征将是明显的。

附图说明

被并入说明书中并构成其一部分的附图示出本发明的实施例，并 与描述一起用于解释本发明的原理。

图1是示出根据本发明实施例的三维测量设备的布置例子的框 图；

图2是示出图1所示的关联搜索单元150的关联处理的例子的示 图；

图3是示出图1所示的关联搜索单元150的关联处理的例子的示 图；

图4是示出图1所示的三维测量设备10中的操作的例子的流程 图；以及

图5是示出根据第二实施例的关联处理的例子的示图。

具体实施方式

现在将参照附图详细描述本发明的示例性实施例。应当注意，除 非另外特别说明，否则，在这些实施例中阐述的组件的相对布置、数 值表达式和数值并不限制本发明的范围。

（第一实施例）

图1是示出根据本发明实施例的三维测量设备的布置例子的框 图。注意，三维测量设备10并入有计算机。计算机包括诸如CPU的 主控制单元，以及诸如ROM（只读存储器）、RAM（随机存取存储 器）和HDD（硬盘驱动器）的存储单元。计算机还可包括诸如按钮和 显示器或触摸面板的输入/输出单元，以及诸如网卡的通信单元。注意， 这些组件经由例如总线被连接，并且当主控制单元执行存储于存储单 元中的程序时被控制。

三维测量设备10将三维形状模型的几何特征上的（任意）点投影 到二维平面上，并且搜索存在于从二维平面上的投影点的预定范围的 区域内的二维平面（距离图像）上的几何特征。然后，三维形状模型 的几何特征与距离图像上的几何特征相关联，并且基于关联的几何特 征计算目标物体的位置和取向。

三维测量设备10被配置为包括图像获取单元110、近似值获取单 元120、模型保持单元130、几何特征选择单元140、关联搜索单元150 和位置/取向计算单元160。

图像获取单元110获取距离图像。在本实施例中，通过例如捕获 距离图像的距离传感器来实现图像获取单元110。但是，本发明不限 于此。例如，图像获取单元110可采用用于仅获取由外部距离传感器 捕获的距离图像的布置。距离图像是各像素具有深度信息（距离信息） 的图像。距离传感器可采用捕获照射目标的激光或狭缝光的反射光并 且通过三角测量法（triangulation）来测量距离的主动系统（active  system）。注意，距离传感器只需要捕获距离图像，并且其系统不被 特别限制。例如，距离传感器可采用使用光的飞行时间的飞行时间系 统，或从由立体照相机捕获的图像通过三角测量法计算各像素的深度 的被动系统（passive system）。假定给出了距离传感器的成像参数（成 像时的场角、分辨率、焦距等）。在关联搜索单元150（后面将描述） 中使用成像参数。

近似值获取单元120获取物体关于三维测量设备10的位置和取向 的近似值。在本实施例中，物体关于三维测量设备10的位置和取向表 示物体关于图像获取单元110的位置和取向。但是，图像获取单元110 不必总是被用作基准。例如，当物体对于图像获取单元110的坐标系 的相对位置和取向被给出并且它们保持不变时，三维测量设备10的另 一部分可被用作基准。

在本实施例中，作为物体的位置和取向的近似值，使用先前（例 如，紧接在前的定时处）通过三维测量设备10测量的测量值。但是， 物体的位置和取向的近似值不必总是为这样的值。例如，对于物体的 位置和取向的先前测量的测量值施加时间序列过滤处理（例如，线性 过滤器或Kalman过滤器），以估计物体的运动速度和角速度。然后， 通过基于估计结果预测物体的位置和取向所获得的值可被用作近似 值。作为替代方案，从传感器获得的物体的位置和取向可被用作近似 值。在这种情况下，传感器仅需要以六个自由度测量物体的位置和取 向，并且其系统（例如，磁系统、光学系统或超声系统）不被特别限 制。注意，当事先确定放置物体的近似位置和取向时，这些值可被用 作近似值。并且，通过向通过捕获包含物体的视觉场景的图像所获得 的捕获图像或距离图像施加物体识别处理，可以测量物体的位置和取 向的近似值。

模型保持单元130保持目标物体（以下也将简称为物体）的三维 几何模型数据（以下也将称为三维形状模型）。三维形状模型可使用 与常规方法中相同的模型，并且将不给出其详细的描述。例如，三维 形状模型由通过连接点集合或点而配置的平面的信息以及配置各平面 的线段的信息来定义。

几何特征选择单元140从目标物体的三维形状模型选择任意几何 特征上的点。在本实施例中，假定三维形状模型由多个NURBS（非均 匀有理B样条，Non-Uniform Rational B-Spline）曲面配置，并且该模 型的几何特征是从各NURBS曲面均匀采样的点和法线的组。当然， 本发明不限于这样的特定的几何特征。例如，三维形状模型的几何特 征可以是NURBS曲面自身或通过网格表示三维形状模型时的网格。

几何特征选择单元140可基于规定易于从三维形状模型或测量数 据测量的几何特征以及对于计算位置和取向有效的几何特征的信息， 执行以上的选择。即，几何特征可以是可在位置/取向计算单元160计 算目标物体的位置和取向时使用的几何特征。由于几何特征选择单元 140选择任意的几何特征，因此，即使当要对于包含目标物体以外的 物体的图像测量位置和取向时，也可执行关联处理而不增加计算量。

几何特征选择单元140基于距离传感器的成像参数和通过近似值 获取单元120获取的物体的位置和取向的近似值，选择三维形状模型 的几何特征上的点。基于它们，只有可从距离图像测量的几何特征被 选择。

更具体而言，从所有的方向描绘三维形状模型，并且与方向相关 联地登记可从各方向观察的几何特征。然后，几何特征选择单元140 选择沿最接近于基于物体的位置和取向的近似值以及成像参数计算的 视线矢量的方向登记的几何特征。注意，可以比较各方向的矢量与几 何特征的法线之间的内积（inner product），并且可以只登记法线与 方向矢量相对的几何特征。

注意，几何特征选择单元140可基于用户指令选择几何特征上的 点。即，用户可参照显示目标物体的三维形状模型的GUI来手动选择 几何特征上的点。作为替代方案，可以选择各几何特征的表面的中心 作为三维形状模型的该几何特征的点。另外，可以选择由在A.E. Johnson and M.Hebert,“Efficient multiple model recognition in  cluttered 3-d scenes,”Proc.Computer Vision and Pattern Recognition, pp.671-677,1998.中公开的特征检测器检测到的点作为三维形状模型 的几何特征上的点。并且，可基于通过近似值获取单元120获取的物 体的位置和取向的近似值，选择在距离图像上均匀的点。更具体而言， 三维形状模型基于物体的位置和取向的近似值以及距离传感器的成像 参数被投影到二维图像上，并且在二维图像上均匀采样的三维形状模 型上的点被逆投影到三维空间上。然后，计算并选择在距离图像上变 得均匀的几何特征上的点。另外，只要从模型的表面选择与三维形状 模型的几何特征对应的点，就不特别限制选择方法。

关联搜索单元150使三维形状模型的几何特征与距离图像上的几 何特征相关联。然后，关联搜索单元150输出三维形状模型的几何特 征和距离图像上的几何特征的关联组。

如图2所示，关联搜索单元150将由几何特征选择单元140选择 的点240投影到二维平面（投影平面）220上。注意，基于距离图像 的给出的成像参数（场角、分辨率、焦距等）以及由近似值获取单元 120获取的物体的位置和取向的近似值来执行该投影。使用下式（1） 来通过透视投影将由几何特征选择单元140选择的点的三维坐标（x,y, z）转换成二维平面（投影平面）上的坐标（u,v）。

(u,v)^T=(f·x/z,f·y/z)^T                            (1)

这里，f是焦距。

投影平面和距离图像上的像素相互唯一地对应，并且对与投影于 投影平面上的点（投影点）对应的距离图像上的二维坐标附近的范围 270搜索距离图像上的要被关联的几何特征。由于可通过式（1）获得 点的投影计算，因此，关联搜索可以是投影点周围的二维搜索。出于 这种原因，由于可减少计算量，因此可以加速三维形状模型的几何特 征与距离图像上的几何特征之间的关联处理。

如图3所示，在由以投影点为中心的椭圆区域形成的区域Ω330 内搜索距离图像上的几何特征。注意，搜索范围可以是投影点的像素， 或者可具有任意尺寸的矩形形状。可基于例如物体的位置和取向的近 似值、图像获取单元110的成像参数、以及物体或图像获取单元110 的运动中的至少任一个，决定搜索区域Ω330的尺寸和形状。即，搜 索范围Ω330可以是基于图像获取单元110的视线方向和几何特征的 法线方向所决定的矩形或椭圆区域，或者以运动矢量为长轴的椭圆区 域。

在本实施例中，假定通过从包含于与投影点对应的像素中的深度 信息（距离信息）获得的三维点的坐标来定义距离图像上的几何特征。 作为距离图像上的几何特征的搜索方法，可以选择离测量点340的投 影点具有最短距离的搜索范围Ω330内的测量点。使用式（2）来计算 在投影点p=(u,v)^T处测量的测量点的距离图像上的坐标g_i的最短距 离。

argmin{||g_i-p||},g_i∈Ω                            (2)

注意，不必总是采用该搜索方法。例如，可通过特征检测器计算 搜索区域Ω330内的各像素的特征量，并且可选择与三维形状模型的 几何特征的特征量最相似的特征量。作为替代方案，例如，可以选择 搜索区域Ω330内的测量点的三维空间上的坐标的中间值或平均值， 即通过统计处理所计算的空间上的坐标。另外，距离图像上的几何特 征不限于三维点，而可以是对于搜索区域Ω内的测量点拟合的曲面或 平面的参数，只要当位置/取向计算单元160计算目标物体的位置和取 向时可以使用该几何特征即可。

并且，可以执行关联误差（error）排除处理。即，计算在距离图 像上选择的几何特征的法线，并且将计算的法线与三维形状模型的几 何特征的法线相比较。如果这些法线方向之差超出预定值，那么这些 几何特征不被相互关联。注意，可通过向与几何特征相邻的三维点群 施加主成分分析并决定第三主成分为法线，计算距离图像上的几何特 征的法线。当执行关联误差排除处理时，可以消除使不同的几何特征 的测量数据与三维形状模型的那些相关联的误差。

位置/取向计算单元160使用通过关联搜索单元150相互关联的三 维形状模型的几何特征和距离图像上的几何特征的组，计算目标物体 的位置和取向。在本实施例中的目标物体的位置和取向的计算中，重 复算术处理以优化由算术处理获得的值。以这种方式，被相互关联的 三维形状模型的几何特征和距离图像上的几何特征的组之间的三维空 间上的距离的差被最小化。

在本实施例中，三维形状模型的几何特征是三维空间上的坐标与 法线信息的组，并且距离图像上的几何特征是三维点的坐标。三维形 状模型的几何特征被视为小的平面，并且使用三维形状模型上的平面 与从距离图像计算的三维点之间的距离作为差。然后，通过使该差最 小化，测量目标物体的位置和取向。

在这种情况下，该差依赖于几何特征的表示方法。例如，如果三 维形状模型的几何特征是点并且距离图像上的几何特征是点，那么该 差可以是这些点之间的距离。作为替代方案，例如，当三维形状模型 的几何特征是平面并且距离图像上的几何特征是平面时，该差可以是 这些平面之间的距离。作为替代方案，例如，当三维形状模型的几何 特征是平面并且距离图像上的几何特征是点时，该差可以是该平面与 点之间的距离。并且，该差可以是使用例如隐多项式（implicit  polynomial）近似计算的距离。即，只要采用用于使用基于三维形状 模型的几何特征与距离图像上的几何特征之间的距离的差的评价函数 来测量目标物体的位置和取向的布置，计算方法就不被特别限制。

以下将使用图4所示的流程图描述图1所示的三维测量设备10 中的操作的例子。在这种情况下，将解释测量物体的位置和取向时的 处理的序列。

三维测量设备10控制图像获取单元110以从距离传感器捕获包含 深度信息（距离信息）的距离图像。因此，获取距离图像（S110）。

在完成距离图像的获取之后，三维测量设备10控制近似值获取单 元120以获取物体关于三维测量设备10的位置和取向的近似值 （S120）。如上所述，物体的位置和取向的近似值可使用例如先前测 量的位置和取向、通过添加诸如速度和角速度的运动的些微（tinges） 估计结果所得到的位置和取向的预测值、通过另一传感器所得到的测 量值、以及来自二维图像和距离图像的物体识别结果。注意，本实施 例使用先前测量的位置和取向的近似值作为物体的位置和取向的近似 值。注意，可以替换步骤S110和S120中的处理的次序。

接下来，三维测量设备10使用例如通过步骤S110中的处理获取 的距离图像和通过步骤S120中的处理获取的近似值，开始目标物体的 位置/取向测量处理。根据本实施例的位置/取向测量处理使用 Levenberg-Marquardt方法。更具体而言，通过迭代算术运算来反复 校正物体的位置和取向的近似值。以这种方式，三维形状模型的几何 特征与距离图像上的几何特征之间的三维空间上的距离的差被最小 化，并且作为该处理的结果获得的值被确定作为目标物体的位置和取 向。当然，本发明不限于Levenberg-Marquardt方法。例如，可以使 用诸如Gauss-Newton方法和最陡下降方法的其它优化方法。作为替 代方案，可以使用诸如共轭梯度方法的其它非线性优化计算方法。

在开始位置/取向测量处理之后，三维测量设备10获取由步骤 S120中的处理获得的目标物体的近似值作为位置/取向测量处理的初 始值。然后，三维测量设备10控制几何特征选择单元140以基于近似 值选择三维形状模型的几何特征（S130）。

在完成选择时，三维测量设备10控制关联搜索单元150以基于目 标物体的位置和取向的近似值以及距离传感器的成像参数（场角、分 辨率、焦距等）将三维形状模型的几何特征投影到距离图像（二维平 面）上。然后，关联搜索单元150使三维形状模型的几何特征与距离 图像上的几何特征关联，并输出三维形状模型的几何特征和距离图像 上的几何特征的关联组（S140）。三维测量设备10控制位置/取向计 算单元160以通过非线性优化方法更新目标物体的位置和取向的近似 值（S150）。

最后，三维测量设备10控制位置/取向计算单元160以进行收敛 确定。如果计算值收敛（在步骤S160中为是），那么处理结束；否则 （在步骤S160中为否），处理返回步骤S130，并且步骤S130至S150 中的上述处理被重复。注意，在收敛确定中，例如，如果更新处理前 后的位置和取向的误差矢量的平方和之间的差几乎为“0”，那么可以 确定计算值收敛。

如上所述，根据第一实施例，在使三维形状模型和距离图像的几 何特征相互关联时，三维形状模型的几何特征上的点被选择，并且几 何特征上的所选点被投影到距离图像上。然后，通过搜索从距离图像 上的投影点存在于预定范围的区域内的几何特征，三维形状模型的几 何特征与距离图像上的几何特征被关联。以这种方式，可在使三维形 状模型与测量数据关联时有效地执行算术运算。

（第二实施例）

以下将描述第二实施例。第二实施例将解释除了距离图像以外还 输入二维图像作为输入图像的情况。图5是示出用于将三维形状模型 的几何特征投影到二维平面上、并对二维图像和距离图像搜索对应的 几何特征的处理的概要的示图。

对于距离图像440和二维图像450两者，三维形状模型的几何特 征410和420被投影到二维平面（投影平面）430上以从二维平面搜 索图像上的对应的几何特征，由此使那些几何特征相互关联。

出于这种原因，可以改善使三维形状模型和测量数据相互关联所 需的算术处理的效率。假定在本实施例中在同一视点处捕获距离图像 440和二维图像450。在这种情况下，可以相对容易地比较二维图像上 的几何特征与距离图像上的几何特征，由此，除了消除由于例如阴影 的影响导致的关联误差以外，还允许确定跳跃边缘（孤立的边缘）。

在这种情况下，根据第二实施例的三维测量设备10的总体布置与 第一实施例的相同，但是，各单元中的处理稍微不同。以下将描述这 种差异。注意，将在关注于不同处理的同时给出以下的描述。

图像获取单元110获取二维图像和距离图像。以与第一实施例中 相同的方式通过距离传感器捕获距离图像。通过用于捕获通常的二维 图像的照相机（成像设备）捕获二维图像。要被捕获的二维图像可以 是浓度图像或彩色图像。事先通过在例如R.Y.Tsai,“A versatile camera calibration technique for high-accuracy 3D machine vision  metrology using off-the-shelf TV cameras and lenses,”IEEE Journal  of Robotics and Automation,vol.RA-3,no.4,1987中公开的方法校准 诸如照相机的焦距和主点位置以及透镜畸变参数的照相机模型。

在第二实施例中，例如，使用在第一实施例中例示的主动系统的 距离传感器。这是由于使用立体照相机的主动系统的距离传感器等也 可同时捕获通常的二维图像。出于这种原因，可从同一视点捕获二维 图像和距离图像。但是，不必总是从同一视点捕获二维图像和距离图 像。注意，当二维图像和距离图像中的成像设备的成像位置和取向较 相互接近并且给出了两个设备之间的几何关系时，二维图像和距离图 像中的一个可基于两个设备之间的几何关系经受投影变换，并且可以 使用通过该变换获得的图像作为从同一视点捕获的图像。

关联搜索单元150使由几何特征选择单元140选择的三维形状模 型的几何特征与二维图像和距离图像上的几何特征关联，并且输出三 维形状模型的几何特征与距离图像和二维图像上的几何特征的关联 组。如在第一实施例中那样，关联搜索单元150通过将由几何特征选 择单元140选择的三维形状模型的几何特征投影到二维平面（投影平 面）上，实现关联处理。注意，三维形状模型与距离图像之间的关联 处理与第一实施例中的相同。三维形状模型与二维图像之间的关联处 理可使用边缘作为几何特征。由于基于边缘的关联处理可使用常规的 技术，因此将不给出其详细的描述。注意，几何特征可以是通过在C. Harris and M.Stephens,“A combined corner and edge detector,” Proc.4th Alvey Vision Conf.,pp.147-151,Manchester,U.K.,1988中 公开的特征检测器检测到的特征点。另外，几何特征可以是可在位置/ 取向计算单元160测量目标物体的位置和取向时使用的几何特征。

由于根据本实施例的二维图像和距离图像是从同一视点捕获的二 维图像和距离图像，因此投影平面、二维图像和距离图像上的像素相 互唯一地对应。出于这种原因，如在第一实施例中那样，使用投影点 周围的预定范围（区域）作为搜索区域Ω，与三维形状模型的几何特 征对应的图像上的几何特征被二维搜索。如在第一实施例中那样，搜 索区域Ω可以是矩形或椭圆区域。注意，在搜索二维图像上的边缘时， 具有任意长度的线可沿边缘的法线方向经受线性搜索。

并且，在第一实施例中描述的关联误差排除处理可被应用于二维 图像。基于例如特征量之间的比较和边缘方向之间的比较来执行关联 误差排除处理。如果不能从距离图像检测到与在二维图像上检测到的 边缘或特征量对应的特征，那么由于确定它们是由例如阴影的影响导 致的边缘或特征量，因此，可执行关联误差排除处理以跳过关联处理。

并且，可使用距离图像执行用于确定在二维图像上检测到的边缘 是否是跳跃边缘的处理。由于从同一视点捕获距离图像和二维图像， 因此可使用二维图像和距离图像两者有效地执行关联误差排除处理。

位置/取向计算单元160使用通过关联搜索单元150相互关联的三 维形状模型的几何特征与二维图像和距离图像上的几何特征的组，计 算目标物体的位置和取向。在本实施例中的目标物体的位置和取向的 计算时，重复算术处理以优化由该处理获得的值。以这种方式，基于 三维形状模型的几何特征和二维空间上的几何特征之间的三维空间上 的距离的差以及三维形状模型的几何特征和距离图像上的几何特征之 间的三维空间上的距离的差两者的评价函数被最小化。

注意，由于二维图像不包含任何深度信息，因此，二维图像的几 何特征在例如没有任何深度信息的状态中被投影到三维空间上。当然， 深度信息可通过使用预定算法或预定值被分配给二维图像的几何特征 中的每一个。

另外，测量方法不被特别限制，只要它基于评价函数（该评价函 数基于三维形状模型的几何特征与二维图像和距离图像上的几何特征 之间的差）测量目标物体的位置和取向即可。注意，根据第二实施例 的位置/取向测量处理的序列与第一实施例中的相同，并且将不重复其 描述。

注意，在第二实施例中，三维形状模型的要关联的几何特征可以 是曲面、平面或曲线。但是，为了将诸如在CAD模型中普遍使用的 NURBS曲面的复杂形状投影到二维平面上，需要棋盘形划分 （tessellation）或用于使用轮廓线切取（clip）曲面的处理，并且，除 非诸如GPU的用于几何计算的专用硬件是可用的，否则，对于算术 处理需要巨量的时间。由此，如在第一实施例中那样，三维形状模型 的几何特征被表示为点或线段，并且该点或线段被投影到二维平面上。 通过该投影，可以加速关联处理而不需要任何专用硬件。

如上所述，根据第二实施例，可如第一实施例中那样有效地进行 在使三维形状模型和测量数据相互关联时执行的算术运算。

已例示了本发明的代表性的实施例。但是，本发明不限于上述的 和示出的实施例，而是允许根据需要所作的修改，而不背离其要旨的 范围。

注意，本发明可采用例如系统、设备、方法、程序或存储介质的 形式的实施例。更具体而言，本发明可被应用于由多个装置配置的系 统或包括单个装置的设备。

（其它实施例）

也可通过读出并执行记录在存储装置上的程序以执行上述实施例 的功能的系统或设备的计算机（或诸如CPU或MPU的装置）、以及 通过由系统或设备的计算机通过例如读出并执行记录在存储装置上的 程序以执行上述实施例的功能执行其步骤的方法，实现本发明的各方 面。出于这种目的，例如经由网络或从用作存储装置的各种类型的记 录介质（例如，计算机可读存储介质）向计算机提供该程序。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限 于公开的示例性实施例。以下的权利要求的范围要被赋予最宽的解释， 以包含所有这样的修改以及等同的结构和功能。

本申请要求在2010年2月24日提交的日本专利申请No. 2010-039201的权益，在此通过引用而并入其全部内容。