带状物的作业位置决定方法、机器人控制方法、带状物的作业位置决定装置、带状物处理系统、带状物的三维测量方法及带状物的三维测量装置

摘要

本发明提供一种决定带状物的作业位置的方法，其不受由带状物的状态所产生的限制。一种带状物的作业位置决定方法，具有：端边坐标取得步骤，取得带状物(40)的至少一端边的三维坐标；以及作业位置决定步骤，根据所述一端边的三维坐标，决定所述带状物的作业位置。较佳为所述端边坐标取得步骤是取得所述带状物的第一侧端边的三维坐标的步骤，所述作业位置决定步骤是根据所述第一侧端边的三维坐标，决定所述带状物的所述作业位置的步骤。

说明书

技术领域

本发明涉及一种决定对于带状物的作业的作业位置的方法及装置、以及使机械手针对所述作业位置进行作业的机器人控制方法及带状物处理系统。另外，本发明涉及一种使用立体相机进行带状物的三维测量的方法及装置。

背景技术

利用机器人来自动地进行对扁平电缆等具有可挠性的带状物进行处理的作业。在此种作业中，如何识别并握持已弯曲或扭曲的状态下的带状物成为问题。

在专利文献1中记载有一种握持扁平电缆，并将前端的电缆用连接器插入接收侧连接器的机械手。机械手将吸附部按压于被贮存在台上的扁平电缆来吸附保持电缆，略微地举起电缆后，将握持爪插入电缆的下侧，由此握持电缆。

在专利文献2中记载有一种握持柔性扁平电缆等具有可挠性的长尺寸构件，并将前端的电缆侧连接器与基板侧连接器连接的机器人。机器人针对基端侧被安装于刚体的扁平电缆，利用机械手可滑动地夹持位置及姿势的偏差比前端部小的基端部与握持目标位置的中途部位，并使机械手一面朝握持目标位置滑动一面移动，由此握持电缆。

现有技术文献

专利文献

专利文献1：日本专利特开2017-189850号公报

专利文献2：日本专利特开2015-030086号公报

发明内容

发明所要解决的问题

但是，专利文献1及专利文献2中所公开的方法并非进行处于由挠曲或扭曲所引起的变形未受到限制的自由状态下的带状物或带状物的一部分的三维测量的方法。

在专利文献1中所记载的握持方法中，必须事先将扁平电缆贮存于台上。因此，例如无法应用于识别并握持被杂乱地收容于箱中的带状物、或被悬挂于空中的带状物。

在专利文献2中所记载的握持方法中，需要长尺寸构件的基端侧为被安装于刚体的状态，而无法应用于两端均未被固定的带状物。另外，在专利文献2中所记载的握持方法中，利用机械手夹持中途位置后，使机械手朝握持目标位置滑动，因此存在于机械手最终握持长尺寸构件之前耗费时间这一问题。

本发明是考虑所述情况而成，其目的在于提供一种不受由带状物的状态所产生的限制，高速地进行带状物的三维测量的方法及装置，决定带状物的握持等对于带状物的作业的作业位置的方法及装置，以及可利用机械手握持所述作业位置的处理方法及系统。

解决问题的技术手段

本发明的带状物的作业位置决定方法具有：端边坐标取得步骤，取得带状物的至少一端边的三维坐标；以及作业位置决定步骤，根据所述一端边的三维坐标，决定所述带状物的作业位置。

此处，所谓带状物的端边，是指构成带状物的平坦的两面(表面与背面)的边界部分的四条外周边。端边的三维坐标是表示在三维空间内所述端边所占据的位置，可为表示端边的形状的方程式，也可为端边上的点的三维坐标的集合。另外，三维坐标的取得不仅包含利用立体相机等三维测量装置拍摄带状物来获得三维坐标，也包含自存储装置等读取事先存储的带状物的三维坐标数据。另外，所谓作业位置，是指在人或机器人对带状物进行握持、夹持、吸附等保持作业或涂布、做标记、熔接、切断、开孔、零件安装、缝制、焊接等加工作业时，成为作业的目标位置的三维坐标。通过所述方法，即便将要进行作业的带状物为产生了挠曲或扭曲的状态，也可针对带状物准确地决定作业位置。

优选为所述端边坐标取得步骤是取得所述带状物的第一侧端边的三维坐标的步骤，所述作业位置决定步骤是根据所述第一侧端边的三维坐标，决定所述带状物的所述作业位置的步骤。此处，所谓侧端边，是指所述端边之中，相当于长边的两边中的任一边。

或者，优选为所述端边坐标取得步骤是取得所述带状物的前端边的三维坐标的步骤，所述作业位置决定步骤是根据所述前端边的三维坐标，决定所述带状物的所述作业位置的步骤。此处，所谓前端边，是指所述端边之中，相当于短边的两边中的任一边。

优选为所述带状物的作业位置决定方法进而具有根据所取得的所述端边的三维坐标，决定所述带状物的作业方向的作业方向决定步骤。此处，所谓作业方向，是指对带状物直接执行作业的末端执行器(end effector)等作业构件接近带状物的方向。换言之，所谓作业方向，是指对带状物进行作业的作业构件(例如，机械手或人的手、机械手或人的手握持的保持用具或加工用具)最终靠近带状物的作业位置为止时的行进方向。例如，在利用机械手的带状物的握持作业中，作业方向(握持方向)优选为与带状物的作业位置(握持位置)附近的面平行、且与带状物的宽度方向形成规定的角度而朝向握持位置的方向，可将所述方向设为作业方向。作业方向(握持方向)可对应于机械手的形状或作业内容等而适宜设定。决定作业方向包含求出作业方向的三维矢量。通过所述方法，即便带状物为已变形的状态，也可准确地决定作业方向。

本发明的机器人控制方法具有：所述任一种带状物的作业位置决定方法中的所述端边坐标取得步骤及所述作业位置决定步骤、以及使机械手针对所述带状物的所述作业位置进行作业的作业步骤。优选为所述作业步骤是将所述作业位置作为握持位置，利用所述机械手握持所述带状物的握持步骤。通过所述方法，可准确地握持无法应用教导或模式匹配等之前的方法的可挠性的带状物。

当在所述任一种带状物的作业位置决定方法中决定了作业方向时，本发明的另一机器人控制方法具有：所述作业位置决定方法中的所述端边坐标取得步骤及所述作业位置决定步骤；以及在所述作业方向上，使机械手针对所述带状物的所述作业位置进行作业的作业步骤。优选为本发明的另一机器人控制方法在所述作业步骤之前，进而具有在自所述作业位置朝所述作业方向的反向分离规定距离的位置设定作业跟前位置的作业跟前位置设定步骤。更优选为所述作业步骤是将所述作业位置作为握持位置，将所述作业方向作为握持方向，利用所述机械手握持所述带状物的握持步骤。通过所述方法，可准确地握持无法应用教导或模式匹配等之前的方法的可挠性的带状物。

本发明的带状物的作业位置决定装置具有：三维测量装置，对带状物进行测量；以及运算部，根据所述三维测量装置所测量的所述带状物的至少一端边的三维坐标，算出所述带状物的作业位置并进行输出。

本发明的带状物处理系统具有：所述作业位置决定装置；以及机器人，包括握持所述带状物的机械手；且根据所述作业位置决定装置所输出的所述作业位置，利用所述机械手握持所述带状物。

本发明的带状物的三维测量方法具有：拍摄步骤，取得自不同的视点拍摄带状物所得的第一图像及第二图像；提取步骤，在所述第一图像及所述第二图像中分别提取所述带状物的第一侧端边；以及三维计算步骤，根据自所述第一图像中所提取的所述第一侧端边及自所述第二图像中所提取的所述第一侧端边，算出所述第一侧端边的三维坐标。

此处，所谓带状物的侧端边，是指位于带状物的外周的四边之中，相当于长边的两边中的任一边。所谓第一侧端边的三维坐标，是指表示在三维空间内第一侧端边所占据的位置，可为表示第一侧端边的形状的方程式，也可为第一侧端边上的点的三维坐标的集合。通过所述方法，对在第一图像及第二图像上所提取的第一侧端边进行处理，由此不论带状物的挠曲或扭曲的状态，均可高速地算出第一侧端边的三维坐标。

优选为所述提取步骤在所述第一图像及所述第二图像中分别进一步提取所述带状物的第二侧端边，所述三维计算步骤根据自所述第一图像中所提取的所述第二侧端边及自所述第二图像中所提取的所述第二侧端边，进一步算出所述第二侧端边的三维坐标。通过所述方法，可高速地算出带状物的两侧的侧端边的三维坐标，并可求出带状物的宽度方向的整体的三维坐标。

更优选为所述提取步骤在所述第一图像及所述第二图像中分别识别所述带状物的第一角部及第二角部，并根据所述第一角部及所述第二角部来提取所述第一侧端边及所述第二侧端边。进而更优选为所述提取步骤在所述第一图像及所述第二图像中分别提取所述带状物的轮廓，并根据所述轮廓来提取所述第一侧端边及所述第二侧端边。或者，进而更优选为所述提取步骤在所述第一图像及所述第二图像中分别提取所述带状物的轮廓，并根据所述轮廓来识别所述第一角部及所述第二角部。特别优选为所述提取步骤在所述第一图像及所述第二图像中分别提取所述带状物的所述轮廓，将所述轮廓的两个弯曲点作为所述第一角部及所述第二角部来识别，且将所述轮廓之中，自所述第一角部朝与所述第二角部相反侧延长的部分作为所述第一侧端边来选择，将自所述第二角部朝与所述第一角部相反侧延长的部分作为所述第二侧端边来选择。通过这些方法，可更高速地算出第一侧端边及第二侧端边的三维坐标。

或者，在本发明的带状物的三维测量方法中，所述提取步骤在所述第一图像及所述第二图像中分别识别所述带状物的第一角部，并提取所述第一侧端边。更优选为所述提取步骤在所述第一图像及所述第二图像中分别提取所述带状物的轮廓，并在所述轮廓上识别所述第一角部。通过这些方法，可更高速地算出第一侧端边的三维坐标。

更优选为所述提取步骤在所述第一图像及所述第二图像中分别提取所述带状物的所述轮廓，并在所述轮廓上识别所述第一角部，所述三维计算步骤根据所述第一图像及所述第二图像，在所述轮廓的三维坐标上将所述第一角部以外的角部作为第二角部来识别，并根据所述轮廓的三维坐标及所述第二角部的三维坐标，进一步算出第二侧端边的三维坐标。由此，即便当在第一图像及第二图像上无法识别两侧的角部时，也可更高速地算出第一侧端边及第二侧端边的三维坐标。

优选为所述之中算出第一侧端边及第二侧端边的三维坐标的带状物的三维测量方法是用于对作业位置进行作业的带状物的三维测量方法，所述三维计算步骤在算出所述第一侧端边及所述第二侧端边的三维坐标后，进而具有：在连结所述第一侧端边上的第一基准点与所述第二侧端边上的第二基准点的直线上设定作业位置，并算出所述作业位置的三维坐标的步骤；以及算出穿过所述作业位置朝所述带状物的面内方向伸长，并与所述带状物的宽度方向形成规定的角度的作业方向的步骤。此处，作业方向的三维坐标是表示在三维空间内表示作业方向的直线所占据的位置，可为所述直线的矢量方程式，也可为所述直线上的两个以上的点的三维坐标的集合。

本发明的另一带状物的三维测量方法具有：拍摄步骤，取得自不同的视点拍摄带状物所得的第一图像及第二图像；提取步骤，在所述第一图像及所述第二图像中分别提取所述带状物的前端边；以及三维计算步骤，根据所述第一图像及所述第二图像，算出所述短边的三维坐标。此处，所谓带状物的前端边，是指位于带状物的外周的四边之中，相当于短边的两边中的任一边。

通过所述方法，对在第一图像及第二图像上所提取的前端边进行处理，由此不论带状物的挠曲或扭曲的状态，均可高速地算出前端边的三维坐标。

本发明的另一带状物的三维测量方法是用于针对带状物决定作业位置的带状物的三维测量方法，具有：拍摄步骤，取得自不同的视点拍摄带状物所得的第一图像及第二图像；提取步骤，在所述第一图像及所述第二图像中分别提取所述带状物的第一侧端边或前端边；三维计算步骤，根据自所述第一图像中所提取的所述第一侧端边及自所述第二图像中所提取的所述第一侧端边，算出所述第一侧端边的三维坐标，或者根据自所述第一图像中所提取的所述前端边及自所述第二图像中所提取的所述前端边，算出所述前端边的三维坐标；以及作业位置计算步骤，根据所述第一侧端边或所述前端边的三维坐标，算出所述作业位置的三维坐标。

此处，所谓作业位置，是指在人或机器人对带状物进行握持、夹持、吸附等保持作业或涂布、做标记、熔接、切断、开孔、零件安装、缝制、焊接等加工作业时，成为作业的目标位置的三维坐标。通过所述方法，即便将要进行作业的带状物为产生了挠曲或扭曲的状态，也可针对带状物准确地决定作业位置。

优选为所述任一种带状物的三维测量方法在所述带状物不受变形的限制的自由状态下进行测量。此处，所述带状物不受变形的限制的自由状态是指带状物的前端部不自其他物体受到应力的状态，或者即便自其他物体受到些许的应力，形状或姿势也因与自重的平衡或风等外部因素而不稳定的状态。本发明可特别适宜地用于此种带状物。

本发明的带状物的三维测量装置具有：第一相机及第二相机，自不同的视点拍摄带状物；以及运算部，自所述第一相机及所述第二相机所拍摄的第一图像及第二图像中分别提取所述带状物的第一侧端边，根据自所述第一图像中所提取的所述第一侧端边及自所述第二图像中所提取的所述第一侧端边，算出所述第一侧端边的三维坐标。

本发明的另一带状物的三维测量装置具有：第一相机及第二相机，自不同的视点拍摄带状物；以及运算部，自所述第一相机及所述第二相机所拍摄的第一图像及第二图像中分别提取所述带状物的前端边，根据自所述第一图像中所提取的所述前端边及自所述第二图像中所提取的所述前端边，算出所述前端边的三维坐标。

本发明的另一带状物的三维测量装置是与对带状物进行作业的机械手一同使用的带状物的三维测量装置，具有：第一相机及第二相机，自不同的视点拍摄所述带状物；以及运算部，根据所述第一相机及所述第二相机所拍摄的第一图像及第二图像，算出所述带状物的第一侧端边或前端边的三维坐标，并根据所述第一侧端边或所述前端边的三维坐标，算出作业位置的三维坐标及作业方向。

通过所述结构，即便带状物为已变形的状态，也可准确地算出作业位置及作业方向。再者，此处所谓作业方向，是指对带状物直接执行作业的末端执行器等作业构件接近带状物的方向。换言之，所谓作业方向，是指对带状物进行作业的作业构件(例如，机械手或人的手、机械手或人的手握持的保持用具或加工用具)最终靠近带状物的作业位置为止时的行进方向。例如，在利用机械手的带状物的握持作业中，作业方向(握持方向)优选为与带状物的作业位置(握持位置)附近的面平行、且与带状物的宽度方向形成规定的角度而朝向握持位置的方向，可将所述方向设为作业方向。作业方向(握持方向)可对应于机械手的形状或作业内容等而适宜设定。算出作业方向包含求出作业方向的三维矢量。

发明的效果

根据本发明的带状物的作业位置决定方法或带状物的作业位置决定装置，可基于带状物的至少一端边的三维坐标来决定作业位置。由此，对于产生挠曲、扭曲、弯曲等自由变形的可挠性的带状物等无法应用之前的模式匹配方法的带状物，也可准确且高速地决定作业的目标位置。另外，根据本发明的机器人控制方法，基于带状物的至少一端边的三维形状来决定作业位置，因此可不采用教导或模式匹配等之前的方法而使机械手对带状物进行作业。另外，根据本发明的带状物处理系统，即便是在带状物中产生了挠曲或扭曲的状态，也可利用机械手准确地握持带状物。

另外，根据本发明的带状物的三维测量方法，对在第一图像及第二图像上所提取的第一侧端边或前端边进行处理，由此不论带状物的挠曲或扭曲的状态，均可高速地算出第一侧端边或前端边的三维坐标。根据本发明的一种带状物的三维测量装置，对在第一图像及第二图像上所提取的第一侧端边进行处理，由此不论带状物的挠曲或扭曲的状态，均可高速地算出第一侧端边的三维坐标。根据本发明的另一带状物的三维测量装置，对在第一图像及第二图像上所提取的前端边进行处理，由此不论带状物的挠曲或扭曲的状态，均可高速地算出前端边的三维坐标。根据本发明的另一带状物的三维测量装置，可基于第一侧端边或前端边的三维坐标而高速地算出作业位置的三维坐标及作业方向，因此可不受由带状物的状态所产生的限制，进而不采用教导或模式匹配等之前的方法，而使机械手对带状物进行作业。

附图说明

[图1]是表示作为本发明的一实施方式的带状物处理系统的结构的图，且为表示实施作为本发明的一实施方式的三维测量方法的场景的装置结构的图。

[图2]是表示机械手的结构例的图。

[图3]是作为本发明的一实施方式的带状物的作业位置决定方法及三维测量方法的步骤流程图。

[图4]是作为本发明的一实施方式的机器人控制方法中的握持步骤的步骤流程图。

[图5]是用于说明带状物的握持位置与握持方向的图。

[图6]，A是用于说明第一图像及第二图像的图，B是用于说明提取轮廓的图，C是用于说明选择弯曲点及侧端边的图。

[图7]是用于说明带状物上的基准点及握持位置、以及带状物外的跟前位置的设定方法的图。

[图8]，是用于说明利用机械手的带状物的握持作业的图，A是表示机械手位于跟前位置时的图，B是表示机械手位于握持位置时的图，C是表示机械手已握持带状物的状态的图。

[图9]，A是用于说明第一图像及第二图像的图，B是用于说明提取轮廓的图，C是用于说明选择弯曲点及区域的图。

[图10]是用于说明带状物的侧端边选择方法的图。

[图11]是用于说明带状物的握持位置的决定方法的图。

具体实施方式

根据图1～图10对本发明的带状物的作业位置决定方法、机器人控制方法、带状物的作业位置决定装置、带状物处理系统、带状物的三维测量装置及带状物的三维测量方法的一实施方式进行说明。在本实施方式中，根据带状物的侧端边来决定作业位置，机械手将所述作业位置作为握持位置来进行握持作业。

参照图1，本实施方式的带状物处理系统10包含三维测量装置20与机器人30。在本实施方式中，利用三维测量装置20进行带状物40的三维测量，根据其结果来决定带状物40的握持位置(作业位置)及握持方向(作业方向)，利用机器人30的手(机械手)32握持带状物，使带状物变成规定的朝向后移动至规定的目标位置60为止。

带状物40是具有可挠性的带状的物体。作为带状物，可例示扁平电缆、布料、膜、带等，但并不限定于此，带状物的种类并无特别限定。另外，带状物的剖面形状无需厚度完全地均一，只要是两侧的侧端边可作为边缘来识别的形状即可。例如，可具有中央部形成得厚的凸透镜状的剖面形状，也可如许多带那样，在一侧或两侧的侧端边形成折回部分等厚壁部分。

另外，带状物40可为如图1中所描绘那样被切断或加工前的物体，也可为已被切断或一部分已被加工的物体。在图1中，带状物40卷绕于卷盘上，前端处于在空中垂下去的下垂状态。带状物40的前端附近的位置或姿势等状态因挠曲或扭曲而不固定。本实施方式的三维测量装置及三维测量方法可特别适宜地用于如下的情况：带状物如所述那样处于由挠曲或扭曲、弯曲所引起的变形不受限制的“自由的”“未得到支撑的”状态，例如带状物处于沿着地板或墙壁、搬送通道等接地面上不进行接触，带状物的位置或朝向未由接地面规定的状态。即，可特别适宜地用于所拍摄的带状物的前端部为不自其他物体受到应力的状态的情况。另外，本实施方式的三维测量装置及三维测量方法可特别适宜地用于如下的情况：带状物如所述那样处于“自由的”状态、及带状物为即便自其他物体受到些许的应力，形状或姿势也因与自重的平衡或风等外部因素而不稳定的状态。

三维测量装置20测量带状物40的各部的三维坐标。三维测量装置的种类并无特别限定，可使用公知的各种装置。本实施方式的三维测量装置20是立体方式的三维测量装置。三维测量装置20具有第一相机21、第二相机22及运算部23。第一相机21及第二相机22自不同的视点拍摄应握持的带状物40。运算部23除对第一相机及第二相机所拍摄的两张图像进行处理来求出带状物40的三维坐标以外，还进行各种运算。其后对运算部的功能进行详细叙述。

机器人30是多关节机器人，具有臂31、手(机械手)32及控制部36。控制部36对包含臂及手的机器人30整体进行控制。机器人30利用手32握持带状物40，并使臂及手移动来将带状物40移动至目标位置60为止。

参照图2，手32安装于臂31的前端，具有两个握持面33、多个连杆34、以及将连杆连结的多个关节35。手32使关节35适当地进行动作，由此可扩大或缩小两握持面33的间隔。手32将两握持面的间隔扩大来接近带状物40，然后将两握持面的间隔缩小来夹持带状物。再者，手的结构并不限定于此，也可使用利用凸轮或齿轮来使手指开闭的各种夹具或真空吸附、磁铁吸附等方式。

以下，按照图3及图4中所示的步骤的流程，对本实施方式的机器人控制方法进行说明。再者，图3是本实施方式的作业位置决定方法、及带状物的三维测量方法的步骤流程图。

在图3中，三维测量装置20的运算部23首先接收作为机械手32握持带状物40时的握持条件的握持距离及握持角度。参照图5，所谓握持位置(作业位置)G，是指位于带状物40上且手32握持的位置，例如由自带状物的前端边41起的握持距离D来给予。所谓握持角度θ，是指手32握持带状物40时的相对于带状物的手的朝向，例如由自带状物的宽度方向(图5的虚线)起的角度θ来给予。手32使握持面33、握持面33与根据侧端边的三维坐标所推断的带状物的面大致平行，并使握持面33、握持面33的前后方向(图2的X方向)朝向以握持角度θ与带状物的宽度方向交叉的握持方向(作业方向)V，而握持带状物。例如当握持角度θ为0度时，手32自正侧面握持带状物。握持距离D及握持角度θ均作为相对于带状物40的相对的位置或角度而非空间的三维坐标来给予。握持距离D及握持角度θ可对应于加工或捆包等后续步骤来决定。例如，运算部23接收作业者自未图示的输入元件所输入的握持距离D及握持角度θ。

参照图6A，第一相机21及第二相机22拍摄带状物40的第一图像L及第二图像R。无需拍摄带状物整体，只要拍摄想要推断带状物的形状的范围即可。即，只要取得决定所期望的握持位置或握持方向所需要的范围的带状物的图像即可。

参照图6B，运算部23在第一图像L及第二图像R中分别提取带状物40的轮廓C。可利用公知的方法，通过邻接的像素彼此的差值运算等来提取轮廓C。

运算部23在第一图像L及第二图像R中分别选择轮廓C的弯曲点。轮廓C上的点是否为弯曲点可根据自所述点朝轮廓C上的两侧的相邻点画出的两条直线形成的角度来判断。例如，当所述角度为120度以下时，可判断所述点为弯曲点。

参照图6C，当在第一图像L及第二图像R两者中选择了两个弯曲点时，将所述两个弯曲点作为带状物40的第一角部42及第二角部43来识别。以下，对可选择两个角部42、角部43的情况进行说明，其后对无法选择两个角部42、角部43的情况进行叙述。

当在第一图像L及第二图像R中选择了第一角部42及第二角部43时，在第一图像及第二图像上，选择带状物40的第一侧端边44及第二侧端边45。具体而言，将轮廓C之中，自第一角部42朝与第二角部43相反侧延长的部分作为第一侧端边44来选择，将轮廓C之中，自第二角部朝与所述第一角部相反侧延长的部分作为第二侧端边45来选择。更具体而言，例如对轮廓C上的点依次分配编号(指数)，将第一角部的指数设为n1，将第二角部的指数设为n2，若n1＜n2，则可判断是指数为n1以下的点构成第一侧端边，指数为n2以上的点构成第二侧端边。

运算部23分别针对第一侧端边44及第二侧端边45，将第一图像L与第二图像R进行比较，由此求出侧端边上的各点的三维坐标。由此，算出第一侧端边及第二侧端边的三维坐标。

在利用立体法的三维测量中，在视点不同的两个图像上求出想要测量的点的对应点，根据各图像上的对应点及两台相机的位置关系，根据三角测量的原理来算出测量点的三维坐标。此处，搜索各图像上的对应点的匹配处理是信息处理的负担最重，且花费成本的工艺。在本实施方式中，首先在作为二维图像的第一图像L及第二图像R上提取第一侧端边44，并对构成第一图像L的第一侧端边44的像素与构成第二图像R的第一侧端边44的像素进行匹配，因此处理的负担轻。

另外，在对应点的搜索中可利用核线(epipolar line)。核线是将使一个图像的视点与测量点连结的直线投影于另一个图像上而成的直线，所述测量点必定投影于另一个图像上的核线上。若计算对应于构成第一图像L的第一侧端边44的各像素的核线与第二图像R的第一侧端边44的交点，则无需对两图像的各像素进行匹配，因此可更高速地求出对应点。

进而，若可在第一图像L与第二图像R上分别选择两个弯曲点，则所述两个弯曲点彼此为第一角部42及第二角部43的对应点。因此，关于第一侧端边44，将第一角部42作为线索，自第一角部出发而依次搜索第一侧端边上的点的对应点，由此可大幅度地减轻匹配处理的负担。例如，如以下那样进行第一侧端边的匹配处理。关于作为第一侧端边的端点的第一角部，已在第一图像及第二图像上获得了对应点。在第一图像上相对于第一角部之后的点(在第一侧端边上位于第一角部的旁边的点，以下也相同)，在第二图像上仅搜索包含第一角部、第一角部之后的点、所述点之后的点等的几个点，由此可决定第二图像的对应点。以后也同样地对已获得对应关系的点之后的点决定对应点，并重复所述操作。第二侧端边45也同样如此。

参照图7，运算部23算出第一侧端边44及第二侧端边45的三维坐标后，在第一侧端边44上将自第一角部42起规定的握持距离D的点作为第一基准点P1来选定，在第二侧端边45上将自第二角部43起规定的握持距离D的点作为第二基准点P2来选定。而且，将连结第一基准点P1与第二基准点P2的直线设为基准线W，将第一基准点P1与第二基准点P2的中点设为握持位置G，计算握持位置G的三维坐标。再者，关于握持位置G，可对应于手的形状来设定基准线W上的任意的点。例如，当手为コ字状且手的指部的长度比带状物的宽度方向短时，可在基准线W上，将自第一基准点P1起指部的长度以内的距离作为握持位置G来设定。另外，当两个基准点之间的距离比带状物的宽度短时，可推测带状物相对于宽度方向，挠曲成剖面为U字状或S字状。因此，当基准点间距离相对于带状物的宽度短规定的阈值以上时，判断带状物的变形显著，可判定为无法握持，也可另外利用三维测量装置再次取得握持位置附近的三维坐标来调查实际的形状。

再者，当第一角部42及第二角部43并非直角时，即当带状物40的前端边41相对于宽度方向倾斜时，只要先将规定的握持距离D的起点决定为第一角部或第二角部中的锐角者或前端边41的中点等，并对应于此来选定第一基准点P1及第二基准点P2即可。

继而，运算部23计算握持方向V及跟前位置A的三维坐标。跟前位置也被称为接近位置。跟前位置是位于带状物40的侧方，机械手32沿着握持方向V，开始朝握持位置G笔直地前进的位置。

运算部23在三维坐标上，求出在握持位置G上以规定的角度θ与连结第一基准点P1与第二基准点P2的直线(基准线)W交叉，并朝带状物40的面内方向伸长的握持方向V。此处，对带状物40的面内方向的推断方法进行说明。在仅取得带状物的侧端边的三维坐标的情况下，带状物的面(平坦部)的形状不明确。因此，根据侧端边的三维坐标来推断带状物的面。首先，通过连结第一基准点与第二基准点的直线W、及第一侧端边的三维坐标或第二侧端边的三维坐标来规定面。可想到这些直线及坐标实际上不在同一平面上，因此只要计算近似面来作为带状物的面方向即可。推断方法并不限定于此，也可根据第一侧端边及第二侧端边的三维坐标来进行计算。而且，将位于握持方向V上并位于带状物40外、且位于自握持位置G起规定的距离的点作为跟前位置A来设定，而决定跟前位置A的三维坐标。优选为运算部23判定握持位置G及跟前位置A为机械手32的可动区域内还是可动区域外。

跟前位置A可位于带状物40的任一侧。例如在图7中，跟前位置A可位于带状物40的跟前侧，也可位于里侧。将跟前位置A设定于带状物的哪一侧可根据带状物与机器人的位置关系而事先决定，也可每次测量时选择靠近机械手一侧。

三维测量装置20将握持位置G及跟前位置A的三维坐标输出至机器人30的控制部36。

在图4中，在机器人30中，控制部36自三维测量装置20的运算部23接收握持位置G及跟前位置A的三维坐标，并将其转换成机器人坐标。机器人坐标是将机器人的某一点作为基准的坐标系中的坐标，例如为将机器人的基座作为基准的基座坐标系。控制部进而根据机器人坐标，求出使手32移动至跟前位置A或握持位置G为止所需要的各关节的旋转角度等姿势参数。

机器人30的控制部36驱动臂31与手32的关节，使手移动至跟前位置A，继而使手的前端朝向握持位置G。在跟前位置上，手使两握持面33的前后方向与握持方向线V平行后将间隔扩大，采取使前端笔直地朝向握持位置G的姿势(图8A)。或者，机器人30也可一面逐渐地改变手32的朝向一面使手移动至跟前位置A为止，在手已到达跟前位置的时间点，使前端笔直地朝向握持位置。在此情况下，也可无需使手在跟前位置上暂时停止，而连续地进行前进动作直至后述的握持位置为止。

参照图8B，机器人30在将两握持面33的间隔扩大的状态下，使手32自跟前位置A沿着握持方向V笔直地前进至握持位置G为止，以使带状物40进入两握持面33之间。若使手32直接移动至握持位置G，则存在带状物40自身干扰手32的情况。使手32暂时经过不与带状物发生干扰的跟前位置A，然后自跟前位置A朝握持位置G前进，由此可准确地握持带状物40。

参照图8C，若手32已到达握持位置G，则将两握持面33的间隔缩小来夹持带状物40。

机器人30在握持带状物40的状态下使带状物40移动至目标位置60为止。所谓目标位置，例如是指用于后续步骤中的加工的治具、朝加工机械中的投入口、或收容带状物的容器等。另外，在本实施方式中，由于知道利用手32的带状物40的握持方向，换言之，由于知道已被握持的带状物40与手32形成的角度，因此通过适当地控制手的朝向，可使带状物40变成规定的朝向来移动至目标位置为止。

继而，返回至弯曲点选择步骤，对无法在第一图像L或第二图像R上选择两个弯曲点的情况进行说明。

参照图9，第一相机21及第二相机22拍摄带状物40的第一图像L及第二图像R(图9A)，即便在第一图像及第二图像中分别提取轮廓C(图9B)，也存在因带状物40的扭曲等而无法选择两个弯曲点的情况。如图9C那样，当在第一图像L及第二图像R上选择了一个轮廓C的弯曲点56时，如以下那样进行处理。运算部23以弯曲点56为界线而将轮廓C分割成第一区域58与第二区域59。弯曲点56是带状物40前端的一个角部的对应点，因此将弯曲点56作为线索来算出第一区域及第二区域的三维坐标。

根据第一区域58及第二区域59的三维坐标，选择位于任一个区域内的另一个角部。即便在未作为弯曲点而出现在第一图像L及第二图像R上的情况下，只要根据三维坐标，也可识别角部。例如参照图10，当在第二区域59内发现了另一个角部47时，弯曲点56及第一区域58与带状物40的一侧的角部46及将所述角部46作为端点的一侧的侧端边48一致。可自第二区域59中选择将另一侧的角部47作为端点的另一侧的侧端边49。而且，可根据第二区域59的三维坐标及另一侧的角部47的三维坐标，求出另一侧的侧端边49的三维坐标。

通过以上方式而选择了带状物40的两个侧端边48、49。在选定第一基准点及第二基准点以后，可与所述方法同样地实施。

当在第一图像L及第二图像R中在轮廓C上无法选择任一个弯曲点时，算出轮廓C整体的三维坐标，并根据所述三维坐标而在轮廓C上识别两个角部，由此可选择两个侧端边。在选定第一基准点及第二基准点以后，可与所述方法同样地实施。

本发明并不限定于所述实施方式，可在其技术思想的范围内进行各种变形。

例如在所述实施方式中，在第一图像L及第二图像R上提取带状物40的轮廓C，并自所述轮廓C之中选择了第一侧端边44，但也可不提取整体的轮廓，而通过霍夫转换(Houghtransform)等来直接提取第一侧端边44。

另外，例如在所述实施方式中，算出了第一侧端边44及第二侧端边45的三维坐标，但有时也可仅算出第一侧端边的三维坐标。例如，当手32的握持面33远大于带状物40的宽度时，可在带状物的第一侧端边44上设定握持位置G。

另外，例如在所述实施方式中，算出了第一侧端边44的三维坐标，但也可在第一图像L及第二图像R中分别提取带状物40的前端边41，并根据第一图像及第二图像来算出前端边41的三维坐标。由此，可在前端边41上设定握持位置G。在此情况下，也可将握持方向作为相对于前端边41垂直的方向，即带状物的长边方向来设定，并将跟前位置设定于图1的带状物前端部的下方。

另外，例如除前端边的三维坐标以外，只要算出一个侧端边，例如第一侧端边44的三维坐标，便可在由前端边41与第一侧端边44夹持的带状物40的面内设定握持位置G。参照图11A，也可在连结第一侧端边44上的第一基准点P1与前端边41上的第三基准点P3的直线上设定握持位置G，参照图11B，也可于在与前端边41平行的方向上自第一基准点P1仅分离规定的距离d的位置上设定握持位置G。进而，与所述实施方式同样地，可根据连结第一基准点P1与第三基准点P3的直线、及前端边41的三维坐标或第一侧端边44的三维坐标来计算带状物40的面方向的近似面，并求出朝带状物的面内方向伸长的握持方向。握持方向可根据作为移动目的地的目标位置或移动目的地的形状来设定，例如在移动目的地为治具的插入口的情况下，可根据治具的插入口的尺寸或形状等来设定。

符号的说明

10：带状物处理系统

20：三维测量装置

21：第一相机

22：第二相机

23：运算部

30：多关节机器人

31：臂(机械臂)

32：手(机械手)

33：握持面

34：连杆

35：关节

40：带状物

41：前端边

42：第一角部

43：第二角部

44：第一侧端边

45：第二侧端边

46、47：角部

48、49：侧端边

56：弯曲点

58：轮廓C的第一区域

59：轮廓C的第二区域

60：带状物的移动目标位置

A：跟前位置(作业跟前位置)

C：轮廓

D：自带状物的前端至握持位置为止的距离(握持距离)

d：自带状物的第一侧端边至握持位置为止的距离

G：握持位置(作业位置)

L：第一图像

P1：第一基准点

P2：第二基准点

P3：第三基准点

R：第二图像

θ：握持角度(带状物的宽度方向与握持方法形成的角度)

V：握持方向(作业方向)

W：将第一基准点与第二基准点连结的直线(基准线)