制作用于拍摄工件的机器人程序的机器人程序设计装置

摘要

本发明提供一种机器人程序设计装置。其具备：制作以三次元表现作业空间的假想空间的假想空间制作部；对配置于假想空间内的工件模型，指定应该由摄像装置拍摄的对象部位的对象部位指定部；在假想空间内，确定在由摄像装置拍摄对象部位时的摄像装置的至少一个位置的位置决定部；存储由位置决定部确定的摄像装置的至少一个位置的位置存储部；按照由位置存储部存储的摄像装置的至少一个位置，制作以由摄像装置拍摄对象部位的方式对机器人进行示教的摄像程序的摄像程序制作部。

说明书

技术领域

本发明涉及制作对使用于加工工件的机器人进行示教的机器人程序的机 器人程序设计装置。

背景技术

在使用于加工工件的机器人系统中，具备拍摄工件的加工部位的摄像装置 的结构是众所周知的。在工件的形状上由于每个个体都存在误差，所以使用摄 像装置拍摄加工部位，处理得到的画面，修正加工程序。在JP06-328385A、 JP2002-086376A、JP2003-191194A、JP2007-160486A以及JP2009-303013A中， 公开了为了检测对象物体而确定视觉传感器的位置及姿势的多种技术。

在JP06-328385A中，公开了以能够检测焊接对象部的位置的方式控制视 觉传感器的姿势控制方法。根据该技术，以即使工具移动，检测对象也常设于 视觉传感器的视野的中心的方式，在每个脉冲周期控制视觉传感器的姿势。

在JP2002-086376A中，公开了将安装于机械手指尖的视觉传感器引导至 检测对象物的引导方法。根据该技术，基于对象物的大概位置、预定的引导位 置与对象物之间的距离，确定引导位置。

在JP2003-191194A中公开了：在JP2002-086376A中公开的技术中，为了 避开位于视觉传感器的引导位置周围的障碍物，按照指定的偏移修正视觉传感 器的引导位置。

在JP2007-160486A中公开了以使用视觉传感器自动化制作拍摄工件的基 准点的测量程序的方式而构成的脱机程序设计装置。

在JP2009-303013A中公开了：在以移动至规定的目标地点的方式而构成 的移动机器人中，确定以以推断现在位置为目的拍摄周围目标物的方式而构成 的摄像装置的摄像方向的摄像方向确定程序。

在现有技术中，需要确定用于拍摄应该拍摄的对象部位的摄像装置的位置。 可是，在确定那样的摄像装置的位置中通常需要大量的时间和劳力，成为作业 效率低下的主要原因。因此，优选在短时间内高效率地确定使用摄像装置拍摄 对象部位时的摄像装置的位置。

发明内容

根据涉及本发明的第1方案，是制作对使用于加工配置于作业空间内的工 件的机器人进行示教的机器人程序的机器人程序设计装置，其具备：制作以三 次元表现上述作业空间的假想空间的假想空间制作部；对配置于上述假想空间 内的工件的模型，指定应该由摄像装置拍摄的对象部位的对象部位指定部；在 上述假想空间内，确定在由上述摄像装置拍摄上述对象部位时的上述摄像装置 的至少一个位置的位置决定部；存储由上述位置决定部确定的上述摄像装置的 上述至少一个位置的位置存储部；根据由上述位置存储部存储的上述摄像装置 的上述至少一个位置，制作以由上述摄像装置拍摄上述对象部位的方式对上述 机器人进行示教的摄像程序的摄像程序制作部。

根据涉及本发明的第2方案，在涉及第1方案的机器人程序设计装置中， 上述位置决定部以确定上述摄像装置相对于上述对象部位具有规定的位置关 系的、上述摄像装置的上述至少一个位置的方式而构成。

根据涉及本发明的第3方案，在涉及第2方案的机器人程序设计装置中， 上述位置决定部具备指定上述摄像装置的视野范围的视野指定部，上述位置决 定部以基于上述摄像装置与上述对象部位之间的上述规定的位置关系、及上述 视野的范围，确定可整体性拍摄上述对象部位的、上述摄像装置的上述至少一 个位置的方式而构成。

根据涉及本发明的第4方案，在涉及第3方案的机器人程序设计装置中， 上述摄像装置还具备在配置于由上述位置决定部所确定的任意一个位置时，判 断是否可拍摄上述对象部位的整体的判定部，上述位置决定部以在由上述判定 部判断为不可拍摄上述对象部位整体的情况下，确定与上述任意一个位置不同 的上述摄像装置的追加位置的方式而构成。

根据涉及本发明的第5方案，在涉及第4方案的机器人程序设计装置中， 上述位置决定部构成为，在确定上述摄像装置的多个位置时，以位于相互邻接 的各个上述位置的上述摄像装置的视野范围在整个规定的范围内重合的方式， 确定上述摄像装置的上述多个位置。

根据涉及本发明的第6方案，在涉及从第2方案至第5方案中的任一方案 的机器人程序设计装置中，上述摄像装置与上述对象部位之间的上述规定的位 置关系由上述摄像装置与上述对象部位之间的距离指定。

根据涉及本发明的第7方案，在涉及第6方案的机器人程序设计装置中， 上述摄像装置与上述对象部位之间的距离是沿相对于包含上述对象部位的工 件表面垂直的方向的距离。

根据涉及本发明的第8方案，在涉及从第1方案至第7方案中任一方案中 的机器人程序设计装置中，还具备基于通过在上述假想空间内模拟上述摄像程 序而得到的上述对象部位的形状，制作加工上述工件的加工程序的加工程序制 作部。

根据涉及本发明的第9方案，在涉及从第1方案至第8方案中的任一方案 的机器人程序设计装置中，还具备基于执行上述摄像程序而得到的上述对象部 位的图像，制作加工上述工件的加工程序的加工程序制作部。

根据涉及本发明的第10方案，在涉及从第1方案至第9方案中的任一方 案的机器人程序设计装置中，上述对象部位是上述工件表面上的点、线或者面。

根据涉及本发明的第11方案，在涉及从第1方案至第10方案中的任一方 案的机器人程序设计装置中，上述摄像程序包含相对于控制上述摄像装置及上 述工件中的至少任意一方的位置及姿势的机器人的示教内容。

根据涉及本发明的第12方案，在涉及从第1方案至第10方案中的机器 人程序设计装置中，上述摄像程序包含：相对于以相对于固定于规定位置的上 述工件，具有由上述位置决定部确定的规定的位置关系的方式固定的上述摄像 装置示教拍摄上述工件的上述对象部位的方式进行示教的内容。

本发明的效果如下。

根据具备上述结构的机器人程序设计装置，拍摄对象部位时的摄像装置的 位置在假想空间内确定，按照其内容制作摄像程序。机器人按照所示教的摄像 程序执行摄像工序。因此，操作者能够容易地确定摄像工序时的摄像装置的位 置，能够有效地执行摄像工序。

这些及其他的本发明的目的、特征及优点，参照表明于附图的本发明示例 的实施方式的详细说明，会更加清楚。

附图说明

图1是表示配置于作业空间内的机器人、工件及安装于机器人上的摄像装 置的概略图。

图2是涉及本发明的一实施方式的机器人程序设计装置的机能方框图。

图3是表示配置于假想空间内的机器人、摄像装置及工件的表示例的图。

图4A是表示工件的对象部位示例的立体图。

图4B是表示工件的对象部位示例的立体图。

图4C是表示工件的对象部位示例的立体图。

图5是表示摄像装置视野的概念图。

图6A是表示摄像装置的视野区域与对象部位之间的位置关系的示例的图。

图6B是表示摄像装置的视野区域与对象部位之间的位置关系的示例的图。

图7A是表示摄像装置的视野区域与对象部位之间的位置关系的示例的图。

图7B是表示摄像装置的视野区域与对象部位之间的位置关系的示例的图。

图8A是表示配置于多个位置的摄像装置的视野区域重叠的重叠区域部分 的图。

图8B是表示配置于多个位置的摄像装置的视野区域重叠的重叠区域部分 的图。

图9A是说明按照重叠条件确定多个摄像装置位置的确定方法的图。

图9B是说明按照重叠条件确定多个摄像装置位置的确定方法的图。

图10是表示在涉及本发明的一实施方式的机器人程序设计装置中执行的 处理流程的流程图。

图11是表示配置于作业空间内的机器人、摄像装置及工件的概略图。

图12是表示配置于作业空间内的机器人、摄像装置及工件的概略图。

图13是表示配置于作业空间内的机器人、摄像装置及工件的概略图。

图14是表示配置于作业空间内的机器人、摄像装置及工件的概略图。

具体实施方式

以下，参照附图说明本发明的实施方式。图示的实施方式的构成要素为了 有助于本发明的理解，比例尺进行适当地变更。

图1是表示配置在作业空间内的机器人100、工件60及安装于机器人100 上的摄像装置50的概略图。机器人100具备安装于机械臂102的前端的机械 手腕106上的加工工具104。机器人100按照由控制装置110所示教的控制程 序进行动作，以能够适宜变更位置及姿势的方式形成。控制装置110具备键盘、 鼠标等输入机构以及存储各种数据及程序的存储部。另外，控制装置110也可 以具备LCD等显示部。

在机械手腕106的附近，固定摄像装置50。摄像装置50是具有如CCD 等的摄像元件的视觉传感器。摄像装置50与机器人100的动作连动，能够改 变其位置及姿势。

工件60固定于配置于机器人100的附近的作业台等的夹具70上。工件 60是如切削表面而形成的大致板状的部件。图示的工件60具备固定于夹具70 上的下方部60a、向与相对于夹具70的接触面相反侧突出的上方部60b。为了 进行例如去毛刺加工，工件60配置于安装在机器人100的机械手腕106上的 加工工具104的可动范围内。

摄像装置50，例如，使用于对由加工工具104进行加工的工件60的加工 部位进行摄像。或者，摄像装置50也可以以正确检测形成于工件60上的孔的 位置为目的使用。

根据本实施方式，机器人100按照摄像程序被控制，摄像装置50相对于 应该摄像的工件60的对象部位而定位于规定的位置。摄像程序通过机器人程 序设计装置10进行制作。机器人程序设计装置10可以内置于机器人控制装置 110内，或者可以与机器人控制装置110分别设置。

图2是涉及本实施方式的机器人程序设计装置10的机能方框图。如图所 示，机器人程序设计装置10具备假想空间制作部12、对象部位指定部14、视 野指定部16、判定部18、位置决定部20、位置存储部22、摄像程序制作部 24、加工程序制作部26。

假想空间制作部12具有制作以3次元表现如图1所示的作业空间的假想 空间的机能。假想空间制作部12按照预先规定的3次元模型，以能够将机器 人模型(以下，只称为“机器人”。)100、加工工具模型(以下，只称为“加 工工具”。)104、摄像装置模型(以下，只称为“摄像装置”。)50、工件模型 (以下，只称为“工件”。)60各自配置于假想空间内的方式而构成。由假想 空间制作部12而制作的假想空间以及配置于假想空间内的各种要素的模型表 示于未图示的LCD等显示部上。

图3表示配置于假想空间内的机器人100、摄像装置50、工件60的表示 例。如果只考虑决定在摄像工序中的摄像装置50相对于工件60的位置的目的， 可以省略机器人100及加工工具104的表示。另外，关于工件60以外的要素， 代替3次元的形状模型，可以使用简略化的模型。例如，在假想空间内表示摄 像装置50的情况下，只要可以视觉性地辨认摄像装置50的位置及视线方向， 则可以使用其他任一的简易模型。

对象部位指定部14具有，相对于配置于假想空间内的工件60(参照图3)， 指定应该由摄像装置50拍摄的对象部位X的机能。对象部位X是如工件60 的表面上的点、线或者面。操作者能够一边确认如显示于显示部上的假想空间， 一边使用任一的输入机构指定对象部位X。

图4A～图4C是表示工件60的对象部位X的例子的立体图。图4A用粗 线表示沿工件60的上方部60b的边线而确定的对象部位X1。对象部位X1具 有包含邻接的起始点Y1及终点Y2且大致封闭的形状。图4B用黑圆点表示 定于工件60上方部60b的一个角部上的对象部位X2。图4C表示定于工件60 的上方部60b的上表面的对象部位X3，在对象部位上使用剖面线。在图4C 的例子中，工件60的上表面整体作为对象部位X而被指定，可是，对象部位 X也可以在整个上表面的一部分的范围内被指定。

视野指定部16具有指定摄像装置50的视野区域VA的机能。图5是表示 摄像装置50的视野V的概念图。如图5所示，视野V例如作为将摄像装置 50的视线VO作为中心轴线的四角锥形状模型定义于假想空间内。代替四角 锥，可以使用圆锥或者圆柱形状的模型。视野区域VA，表示如以视野V的高 度H从摄像装置50离开且相对于视线VO垂直延伸的平面上的视野V的范围。 视野区域VA的尺寸，例如通过指定第1边线S1的尺寸及在相对于第1边S1 垂直的方向上延伸的第2边S2的尺寸而确定。或者可以输入摄像装置50的焦 距、所拍摄的图像的尺寸(像素数)、视野高度H等信息，从那些信息中计算 出视野区域VA的尺寸。

位置决定部20，在假想空间内，具有决定由摄像装置50对工件60的对 象部位X进行拍摄时的摄像装置50的位置的机能。例如，在作为对象部位X 指定连接线的情况下(参照图4A)，以摄像装置50的视野区域VA位于与工 件60的上方部60b的上表面同一平面上，且视野区域VA的中心与对象部位 X的起始点(图4A中的符号“Y1”)一致的方式，确定摄像装置50的位置。 具体地说，位置决定部20从工件60的形状信息中取得相对于包含对象部位X 的工件60的表面的法线方向，将从对象部位X的起始点沿该法线方向以视野 高度H离开的位置确定为摄像装置的位置。

另外，对象部位X为点的情况下(参照图4B)，以如视野区域VA的中心 与对象部位X一致的方式而确定摄像装置50的位置。对象部位X为面的情况 下(参照图4C)，以如视野区域VA的中心与对象部位X的中心一致的方式而 确定摄像装置50的位置。如此，位置决定部20以通过指定对象部位X与摄 像装置50间的距离，能够确定相对于对象部位X的摄像装置50的位置的方 式而构成。

判定部18具有基于通过视野指定部16而指定的视野区域VA、通过位置 决定部20而确定的摄像装置50的位置而判定摄像装置50是否可对对象部位 X的整体进行摄像的机能。此时，如工件60的对象部位是线或者面的情况下， 对象部位变换为多个点的集合，判定部18通过与对象部位X对应的的多个点 是否包含于视野区域VA的范围内，执行上述判断处理。

图6A及图6B是表示摄像装置50的视野区域VA和对象部位X之间的位 置关系的例子的图。图6A及图6B表示如图4A所表示的那样的工件60的边 线作为对象部位X而被指定的情况。摄像装置50以摄像装置50的视野区域 VA的中心与对象部位的起始点Y1一致的方式，配置于摄像装置50从起始点 Y1向相对于工件60表面的法线方向以视野V高度H的距离离开的位置。

如从图6B中所理解，作为用粗线表示的矩形的四边的对象部位X，其整 体包含于视野区域VA的范围内。即，判定部18判定为由配置该位置的摄像 装置50能够对对象部位X的整体进行摄像。因此，这种情况下，由位置决定 部20进行的确定摄像装置50的位置的工序完成，可将此时的摄像装置50的 位置输出至位置存储部22。

图7A及图7B是表示摄像装置50的视野区域VA与对象部位X之间的位 置关系的图。这种情况下，如图7B所示，在视野区域VA的范围内只包含对 象部位X的一部分。因此，判定部18判定为由摄像装置50不能对对象部位X 的整体进行摄像。这种情况下，位置决定部20确定摄像装置50的追加位置。 即，在摄像工序中，摄像装置50从多个不同的位置拍摄对象部位X。

用于拍摄对象部位X的摄像装置50的追加位置，由位置决定部20如按 照视野区域VA重叠的重叠区域Z的大小顺序决定。图8A及图8B是表示配 置于多个位置的摄像装置50的视野区域VA的重叠区域Z的图。在图8A及 图8B中，分别表示配置于具有第1视野V1的第1位置的摄像装置501、配 置于具有第2视野V2的第2位置的摄像装置502。并且，表示第1视野V1 的视野区域VA1和第2视野V2的视野区域VA2重合的重叠区域Z。

重叠区域Z以如第1方向的尺寸Z1及相对于第1方向垂直的第2方向的 尺寸Z2中的至少任一一方小于所规定的临界值的方式设定。或者，可以以重 叠区域Z的面积小于规定的临界值的方式设定。即，位置决定部20将重叠区 域Z的尺寸Z1、Z2或者面积与临界值进行比较，依次决定满足规定的重叠条 件那样的摄像装置50的追加位置。

图9A及图9B是说明按照重叠条件决定多个摄像装置50的位置的决定方 法的图。在图9A中，分别用虚线表示配置于第1位置的摄像装置50的视野 区域VA1、配置于第2位置的摄像装置50的视野区域VA2。另外，在这些视 野区域VA1、VA2重合的重叠区域Z上使用剖面线。

第1视野区域VA1的中心VC1与对象部位X的起始点(图4A的符号“Y1”) 一致。另外，第2视野区域VA2的中心VC2位于对象部位X的线上。因此， 位置决定部20假想摄像装置50从具有第1视野区域VA1的位置到具有第2 视野区域VA2的位置边维持视野区域中心在对象部位X的线上的状态边移动， 计算重叠区域Z的尺寸或者面积。那样，能够计算例如重叠区域Z的尺寸Z2 比规定的临界值小的位置即与视野区域VA2对应的位置。

在图9B中，分别用虚线表示配置于第2位置的摄像装置50的视野区域 VA2与配置于第3位置的摄像装置50的视野区域VA3。视野区域VA3的中心 VC3位于对象部位X的线上。位置决定部20假想以视野区域的中心沿着对象 部位X的线的方式移动摄像装置50，计算重叠区域Z的尺寸或者面积。并且， 能够计算如为重叠区域Z的尺寸Z1比规定的临界值小的位置的视野区域VA3。

位置决定部20，重复进行参照图9A及图9B说明的位置决定工序，决定 能够拍摄对象部位X的整体那样的摄像装置50的多个位置。并且，各个摄像 装置50的位置从位置决定部20向位置存储部22输出，并储存。

摄像程序制作部24具有按照存储于位置存储部22的摄像装置50的位置 信息制作向机器人100示教的摄像程序的机能。即，在摄像程序中，包含至可 拍摄对象部位X的位置定位摄像装置50的同时，执行对象部位X的拍摄的示 教内容。

加工程序制作部26具有制作加工工件60的加工程序的机能。加工程序制 作部26基于作为在假想空间内模拟摄像程序的结果而得到的对象部位X的位 置，制作加工对象部位X的加工程序。或者，加工程序制作部26在实际的作 业空间内执行摄像程序，处理作为其结果而得到的对象部位X的图像，制作 加工程序。在加工程序中，包括在与对象部位X对应的位置上定位加工工具 104的同时，执行加工的内容。

图10是表示在涉及本发明的一实施方式的机器人程序设计装置10中执行 的处理的流程的流程图。并且，为了说明的简便，顺序说明各工序，可是，本 领域技术人员应当理解为不是限定工序顺序的意图。另外，本领域技术人员应 理解为可以将几个工序同时并列执行。

首先，在步骤S1中，假想空间制作部12制作假想空间。另外，在该假想 空间内，至少包含工件60的3次元模型的、各要素的模型配置于假想空间内 (参照图3)。

在步骤S2中，对象部位指定部14对假想空间内的工件60的模型，指定 应该由摄像装置50拍摄的对象部位X。此时，对象部位X例如在相对于工件 60定义的工件坐标系中指定。并且，在步骤S3中，基于工件坐标系与基准坐 标系之间的位置关系、在工件坐标系中的对象部位X的位置，计算出位于基 准坐标系中的对象部位X的位置。

而且，在步骤S4中，视野指定部16指定摄像装置50的视野区域VA。 在步骤S5中，指定摄像装置50与对象部位X之间的位置关系。在步骤S4及 步骤S5中所指定的信息例如由操作者输入，使用于在位置决定部20中执行的 计算。在替代的实施方式中，视野区域VA、摄像装置50与对象部位X之间 的位置关系，可以基于摄像装置50固有的信息、如焦距、摄像画面的尺寸、 视野高度等信息自动地计算。

其次，在步骤S6中，位置决定部20基于步骤S3中计算出的对象部位X的 位置、在步骤S4中所指定的视野区域VA、在步骤S5中所指定的摄像装置50 和对象部位X之间的位置关系，确定用于拍摄对象部位X的摄像装置50的位 置。

在接着的步骤S7中，判定部18判定是否可通过配置于在步骤S6中所确 定的位置的摄像装置50，拍摄对象部位X的整体。

在步骤S7中判定为不能拍摄对象部位X的整体的情况下，进入步骤S8， 位置决定部20确定下一个应该执行摄像工序的摄像装置50的位置。在步骤 S8中确定的追加的摄像装置50的位置例如如上述，是相对于不久之前的位置 的摄像装置50的视野区域VA满足规定的重叠条件的位置。反复进行步骤S7 及其后续的步骤S8，直到在步骤S7中判断为可拍摄对象部位X的整体为止。

另一方面，在步骤S7中判定为可拍摄对象部位X的整体的情况下，进入 步骤S9。在步骤S9中，位置存储部22存储步骤S6及该情况下步骤S8中所 确定的摄像装置50的位置。

其次，在步骤S10中，摄像程序制作部24基于在步骤S9中存储的摄像 装置50的位置，制作对机器人100的摄像程序。制作的摄像程序输送至控制 机器人100的控制装置110(图1)。例如，如图1所示，摄像装置50固定于 机器人100的机械手腕106的附近的情况下，机器人100将摄像装置50定位 于通过摄像程序示教的位置。

图11～图14是表示配置于在其他的构成例中的作业空间的机器人100、摄 像装置50及工件60的概略图。根据图11所示的构成例，摄像装置50固定于 夹具72的同时，工件60通过夹具74固定于机器人100的机械手腕106上。 这种情况下，机器人100将工件60定位于由摄像程序所示教的位置，由此， 可实现可由摄像装置50拍摄对象部位X的那样的工件60与摄像装置50之间 的位置关系。

根据图12所示的构成例，摄像装置50固定于机器人100的机械手腕106 的同时，工件60通过夹具74固定于可动装置76上。可动装置76是具备如一 个或者两个以上的电机所驱动的滚珠丝杠等的可动机构部的机器人以外的任 一可动机构。可动装置76能够改变工件60的位置及姿势中的至少任一一方。 或者，未图示，但也可以工件60固定于机器人100的机械手腕106的同时， 摄像装置50固定于那样的可动要素。任一的情况下，机器人100都按照摄像 程序的示教内容而被控制，都能实现摄像装置50能够拍摄工件60的对象部位 X的工件60与摄像装置之间的位置关系。

根据图13所示的构成例，摄像装置50及工件60分别固定于相互不同的 机器人100的机械手腕106上。这种情况也与其他例同样，这些机器人100 中的至少任一一方按照摄像程序的示教内容而被控制，实现摄像装置50能够 拍摄工件60的对象部位X的工件60与摄像装置50之间的位置关系。

根据图14所示的构成例，摄像装置50固定于夹具72的同时，工件60 固定于夹具70上。这种情况下，从由位置决定部20所确定的摄像装置50拍 摄时的位置，求出摄像装置50与工件60之间的位置关系，随此，调整固定摄 像装置50的夹具72的位置及姿势中的任一一方。并且，按照摄像程序，启动 摄像装置50，拍摄工件60的对象部位X。

以上，说明本发明的多种实施方式以及变形例，通过其他实施方式及变形 例也能够达到本发明的意图的作用效果对于本领域技术人员来说也是理所当 然的。而且，能不脱离本发明范围地删除或置换上述实施方式及变形例的构成 要素，再付加众所周知的方式也是可能的。另外，在本说明书中通过将明示的 或者暗示地公开的多个实施方式的特征任意地组合也能够实施本发明对于本 领域技术人员来说也是理所当然的。