利用多个照相机识别涂敷到基板上的结构的方法和设备

摘要

本发明涉及一种借助至少一个照相机、尤其多个照相机(12、13、14)识别涂敷到基板上的结构(30)、优选粘接珠或粘接轨迹(20)的方法和/或设备。通过所述参考涂敷结构的单一操作输入一参考涂敷结构，从而以图像序列储存照相机(12、13、14)的图像。本发明还涉及一种识别涂敷到基板上的结构的方法。当启动时，将所涂敷的结构作为光学图像进行处理以便对该结构进行评估，从而每个照相机仅捕获一个图像带以形成一图像序列，并且由于捕获单一的图像带，对应于资料的减少，图像捕获频率增加。

说明书

技术领域

本发明涉及一种根据权利要求1所述利用至少一个或多个照相机对涂敷到基板上的结构进行识别的方法以及一种用于该方法的装置。

背景技术

为了识别将被涂敷到基板上的结构，通常需要进行光学测量，为此，经常使用对包括粘接线和密封剂线的结构进行完全自动测试的各种系统。为此目的，将多个摄像机对准将被识别的结构，此外还需要提供用于产生强对比度照相机图像的照明模块。

为了能够监控正被涂敷的粘接线和/或粘接踪迹，有必要示教(Teach-In)参考粘接踪迹，也就是使用所述一个或多个照相机对参考粘接踪迹进行扫描，以便计算出相应的参数，然后依据该参数估算涂敷的粘接踪迹。

迄今，在参考粘接踪迹的示教中，有必要使各个照相机单独扫描粘接踪迹以便获得所有位置的照相机图像。对于使用三台照相机的情况，这意味着必须依次对参考粘接踪迹进行三次扫描并且需向三个照相机分配三种不同的图像序列。其缺点在于，这将导致参考粘接踪迹的参数化过程繁琐并且极为耗时，且可导致严重的不精确性。

而且，需要提供一种利用至少一个或多个照相机对将要涂敷到基板上的结构进行识别的方法，采用该方法以高精确度和高速度监控正被涂敷的涂敷结构或粘接踪迹。

发明内容

因此，本发明的目的是提供一种用于利用至少一个或多个照相机识别涂敷到基板上的结构的方法，该方法有利于在高精确度下的快速启动和/或参考粘接踪迹的快速示教。

此外，本发明的目的在于提供一种利用至少一个或多个照相机识别涂敷到基板上的结构的方法，该方法以高精确度和高速度监控正被涂敷的涂敷结构和/或粘接踪迹。

此外，本发明的目的在于提供一种适合于实施本发明的方法的装置。

通过权利要求第1项和第4项所述的技术特征可实现上述关于方法的目的，而通过权利要求第28项所述的技术特征可实现上述关于装置的目的。

在根据本发明的装置和根据本发明的方法中，示教了一参考涂敷结构并且将被涂敷的涂敷结构和/或粘接踪迹与所述参考涂敷结构进行比较以便对其进行评估。在本发明中，不论是根据本发明的涂敷设备，即配备照相机的涂敷设备产生运动，还是基板产生反向运动是无关紧要的。

根据本发明的方法，在对参考涂敷结构进行单次扫描之后，借助于示教所述参考涂敷结构，从而以一图像序列的方式对所有照相机的拍摄的图像进行记录和/或储存。这样，此类装置的启动时间被缩短为较短的示教时间。

根据本发明的利用至少一个特别是多个照相机对涂敷到基板上的结构、特别是粘接线或粘接踪迹进行识别的方法：在对所述涂敷结构进行扫描和评估期间，以光学表示的形式处理该涂敷结构，这样每个照相机仅记录一条图像带从而形成一个图像序列，并且由于仅记录一条图像带，就减少了数据量，由此相应地增加了图像记录速率，从而获得一种精确度高并且可以完全自动化的涂敷结构识别和监控方法。这样，还能够在涂敷粘接踪迹时并行和/或同时地对粘接踪迹进行监控。

从附属权利要求中可解本发明其它的其它有利的技术特征。因此，每个照相机仅记录一条形成图像序列一部分的图像带可有利地使计算数据减少到最低程度。由于计算中必需包括较少的数据，并且因为图像记录速率较高，因此可以对整个待记录的粘接踪迹的相比较而言较小的部分区段进行记录，例如介于1mm到3mm，从而能够在单个图像中自动跟随矢量链形式的粘接踪迹。

此外，通过仅记录一条图像带的方式实现数据量的减少从而增加图像记录速率是有利的，特别是借助部分扫描技术，可获得更高的帧速。因此，可利用所有照相机在同一时间同步且并行地捕获图像。因此图像记录以规定的固定时间间隔进行并且独立于机器人控制。

根据本发明，单个照相机的图像带被结合到一起形成单一图像，其优点在于：可以相应地独立于位置对单个照相机各自的图像进行分配，并且可同步地对这些图像进行记录和处理。此外，还可防止示教中出现错误，这是因为单个照相机的图像总是被分配以正确的时间和位置。

根据一优选实施例，每个照相机，仅将图像线中的约1/4用作图像带，且此可使图像记录速率增加四倍。

此外，有利的是，若借助于对参考涂敷结构的一次性外部指示和/或外部标记(例如，通过鼠标点击)能够自动地使所有的照相机执行一次图像记录操作，由此得到所述参考涂敷结构，并由该参考涂敷结构得到所述图像序列的参数化，并且将其与涂敷的粘接踪迹进行比较。特别是将机器人行进路线、机器人行进时间、粘接踪迹的方向、宽度以及质量用于参数化。这种简单的参数化程序降低了误操作或不正确的参数化的风险，由此还可使用技能较低的人员来操作该系统。因此，这种参数化生成对整个粘接踪迹的向量化，由于图像记录速率高，这种向量化可提供对粘接踪迹的可靠且自动监控。这样，对传感器的转换时只要求重新校准和/或新的校准，而不必再次对粘接踪迹进行示教。

根据本发明的一个优选实施例，使用评估函数、尤其是模糊评估来对粘接剂轨迹和/或粘接踪迹进行分析，特别是在借助评估函数进行的计算中包括：由粘接踪迹右边缘和左边缘构成的边缘对的宽度、边缘对之间的投影灰度值分布的平均灰度值、边缘对比度以及位置行进，这样可对粘接踪迹进行精确地描述，从而能够以可靠的方式自动识别粘接踪迹。

此外，有利的是在一环绕轨迹和/或轨道(orbit)上、尤其在基本上为圆形的轨迹和/或圆形线上确定粘接踪迹的边缘，从而在规定区域捕获涂敷设备周围的粘接踪迹的任何行进。这里，粘接踪迹可在椭圆形、多边形或近似圆形的环绕轨迹内行进。

根据一优选实施例，圆形线或环绕轨迹的中心基本上与形成粘接踪迹的粘接剂析出部位一致，由此每个照相机至少对圆形线形成的圆环的至少一个部分进行监控。

每个照相机与至少一个相邻的照相机共同监控至少一个重叠区域，这样可减小从一个照相机转换到下一个照相机时产生的误差。

尤其有利的是，圆形线0到360°的角度值构成各个照相机的总坐标系，将圆形线的一个区段分配给单个照相机的图像。这样至少一个当前活动的照相机可追踪粘接踪迹的行进，这样就能够以相对简单的方式对整个粘接踪迹及其位置和/或行进作出陈述。

根据一优选实施例，在使用三个照相机的情况下，第一照相机覆盖的角度范围是-10°到130°，第二照相机覆盖的角度范围是110°到250°，而第三照相机覆盖的角度范围是230°到10°。

此外，在粘接踪迹的行进期间，当粘接踪迹从一个照相机的圆形线的区段经由重叠区域行进到不同照相机的圆形线的区段时，有利的是从一个照相机自动转换到下一个照相机。这样就能够可靠地追踪轨迹的行进和/或轨迹位置的行进，且这些是可预测的。因此，邻近照相机之间可发生完全自动转换，从而可缩短参数化时间。

此外，有利的是使用LED照明装置用于照明，该LED照明装置的颜色能够对涂敷结构的颜色提供适宜的对比度。这里，可根据互补色原理对光线颜色进行选择，从而获得基板与粘接踪迹之间的最大对比度。使用红外LED或UV LED是有利的。尤其在使用RGB LED时，使用专门设计的能够发射红色、绿色和蓝色光的发光二极管是尤其有利的。因此，无需重新设置即可将传感器转换成相应的粘接剂颜色。

若使用具有红、绿、蓝三色的LED，则可产生最合适的混合色以达到最佳对比度。

根据本发明的进一步的技术特征，LED是闪烁的，特别是，将1.0到0.01ms的电流脉冲施加到该二极管，从而在传感器扫描基板时获得特别是粘接踪迹的聚焦图像。

此外，对于就单个组件位置容差和/或接缝容差的三维位置校正，有利的是使用至少两个照相机确定参考轮廓和/或特征，以便借助立体测量程序执行涂敷设备的三维位置校正。

若两个照相机以全图像或较大图像的形式对基板、组件的一部分或一个或多个组件进行记录，则同样是有利的，两个照相机的全图像或较大图像包括处于引导方向上的重叠区域，在涂敷该结构之前，将产生重叠区域的参考轮廓位置的三维识别用于对涂敷设备进行粗调。这里，将相应的修正值传输到涂敷设备和/或机器人从而变换其坐标系以便涂敷粘接剂。

若投影到参考轮廓的区域上以便进行三维分析，特别是若将一个或多个激光线以投影的形式施加到基板，那么，即使通过无附加投影的现有图像处理无法对此进行分析，也仍然可以对任意组件的高度和轮廓对外形进行三维分析。

有利的是，对单个照相机进行标定以便根据圆形测径器对单个照相机进行角度分配，尤其可使用具有用于三个照相机的处于0°、120°和240°的标记点的标定设备的圆弧。这样就允许对于单个照相机在涂敷设备周围的圆形测径器上的角度分配使用总坐标系，从而简化软件处理。

此外，可测量涂敷设备与组件的一个特征之间的距离，例如与组件边缘或孔和/或转折点的距离，从而对已涂敷结构执行位置测试。这里，特别是可将线形灰度值扫描和/或线形测径器用于距离测量，从而可放置任意数量的参考标记，由此图像处理就不仅限于其中执行粘接踪迹测试的照相机图像。因此，无需在同一照相机图像中见到粘接踪迹和适当的参考特征，这对于三个照相机图像的并行处理是有利的。

本发明提供一种用于识别将被涂敷到基板、特别是粘接线或粘接踪迹上的结构的装置，该装置用于实施根据本发明权利要求1和/或4的方法，提供至少一个照明模块和一个传感器单元。所述传感器单元由围绕结构涂敷设备设置的至少一个或多个照相机构成，并且各个照相机指向该结构涂敷设备。通过此方式，可通过使照相机对准涂敷设备在所有时间和所有方向上监控该设备在基板上的行进路线和/或基板相对于该涂敷设备的行进路线。

若单个照相机的纵轴在观察方向与涂敷设备的纵轴基本上相交，则这种类型的技术特征的优点在于能够以适当的分辨度和较高的图像记录速率监控涂敷设备周围的较窄区域。

根据一优选实施例，在圆周方向上以彼此等距离设置各个照相机、特别是设置3个照相机。

有利的是，各个照相机被连接起来，以便以图像序列的形式储存这些照相机的图像，从而可以同步地、并行地并且以分配的方式记录这些图像。

根据本发明的一个技术特征，一个或多个照相机形成一圆形测径器，其中心是由结构涂敷设备形成。这里，可使用一个或多个圆形测径器从以便有助于对圆形线上粘接踪迹边缘的确定。

根据一优选实施例，各个照相机与下一个照相机至少包括10°的重叠区域。当粘接踪迹从一个照相机的监控区域行进到下一个照相机的监控区域时，此重叠区域有助于邻近照相机之间的完全自动转换，这是因为照相机的选择不受机器人位置或时间分量的约束，而是总是参照实际检查结果，即基于在圆形测径器的轨道和/或圆形线上和/或由此形成的总坐标系上的排列。

此外，有利的是照明模块是由LED、尤其红外LED、UV LED或RGB LED构成。

而且，有利的是，将具有独立形状要素的标定盘用于标定各个照相机，进行角度分配，因此，所述形状要素包括，特别是基本上为10°的角距离。这样就能够实现各个照相机的标度系数、角度和搜索圆周的中心以及半径的分配。根据本发明，标定盘包括至少三个标记部位，这些点基本上以0°、120°和240°布置在标定盘的圆弧中以便校准三个照相机。

若在涂敷设备上提供一个将一个或多个特征、特别是图像带投影到基板上以进行三维分析的投影设备，则可在涂敷结构之前使用任意组件对涂敷设备进行校准和/或调节。

根据一优选实施例，投影设备发出一个或多个激光线以便进行三维轮廓分析。在涂敷设备周围设置至少两个投影设备可便利涂敷设备周围的无缝三维分析，由此可通过图像处理根据三角测量的原理执行对密封剂高度和密封剂轮廓以及位置和宽度的分析。

本发明的另外的有益技术特征是其余的从属权利要求的内容。

本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

图1是根据本发明的用于涂敷和监控粘接踪迹的装置的示意性侧视图。

图2是图1的根据本发明的装置的透视图。

图3是根据本发明的用于涂敷和监控粘接踪迹的装置的行进路线。

图4是根据本发明的装置关于相关照相机的转换的另一行进路线。

图5是用于在线监控的由来自三个照相机的三个图像带构成的单一图像。

图6说明软件设计的原理。

图7是根据本发明的用于校准根据本发明用于识别将被涂敷到基板上的结构的装置的单个照相机的标定设备示意图。

图8是关于涂敷监控的涂敷有粘接踪迹的基板的顶视图。

图9是关于轮廓分析的顶视图。

具体实施方式

下文根据图1和2说明根据本发明的用于识别将要涂敷到基板上的结构的装置的设计结构。

参考数字10表示示意性展示的用于涂敷和识别粘接踪迹的装置。在根据本发明的装置的中心设置有一涂敷设备11，通过该涂敷设备可将粘接踪迹20涂敷到图1中从右向左移动的基板和/或金属板30上。在围绕涂敷设备11的圆中彼此等距离地设置三个照相机12、13、14，每个照相机均对准涂敷设备11。从图1明显可见的是，三个照相机12、13、14的纵轴和基板30正下方的涂敷设备11的纵轴相交，使得各个照相机的焦点正好布置在涂敷设备11的区域周围，尤其是在圆形线上。

在对粘接剂的检查中，具有照相机的涂敷设备或者基板之一移动，由此借助于涂敷设备11将粘接踪迹20同步地涂敷到基板30，并且照相机12、13、14对被涂敷的结构进行监控。为达到这一目的，可行的是，移动具有照相机的涂敷设备或者基板之一，以便按照希望的行进方式将粘接踪迹涂敷到基板30。采用这种方式，移动中的照相机可独立于行进路线监控正被涂敷的粘接踪迹。在图2中，粘接踪迹20由左向右行进并且用实线表示该行进路线。涂敷设备11的右侧的虚线用来表示粘接踪迹20的预期行进。

图3展示了如箭头所示的粘接踪迹20的行进，在三个位置显示了三个独立照相机各自的方向和/或视野。用实线、宽虚线和窄虚线画出的矩形分别表示三个独立照相机各自的视野。从图3显然可以看出，只有整个装置在移动，三个照相机各自视野的方向总是保持恒定。

图4展示了粘接轨迹20的另一行进，由此表示在每种情况下哪一个视野是当前有效的，即，当沿着粘接踪迹行进时，哪一个具有用矩形表示的相应视野的照相机是当前有效的。

图5展示了三个图像带，其分别表示图1的三个单个照相机的图像的相关部分和/或图像带。根据本发明的方法，每个照相机只记录图像带以便减少数据量，从而可以增加记录速度。然后将三个照相机的这些单个图像带连接成图像，以指定的固定时间间隔进行图像记录而独立于涂敷设备的机器人控制。例如，照相机只记录图像带，因此使用大约100像素(100图象线)的图像高度代替480像素的图像高度。利用这种部分扫描技术，也就是部分读出图像记录芯片，只产生少量的数据流，相应地可以成倍地增加图像记录速度。因此，能够在数据分析中同步地、并行地并且由此同时地捕获单个照相机的图像，并且随后将其结合为单一的一幅图像，这样，这三个图像带按照一个在另一个之下的方式排列。结果，可以相对于这三个图像也即图像带相互之间的位置和时间关系对这三个图像带进行正确地排列和分配，不会产生任何混乱，并由此对这三个图像带进行处理。因此，这种特定的图像记录技术有助于同步和平行地记录各个照相机图像，由此可在对参考涂敷结构的示教期间只对此结构扫描一次，从而将所有照相机的图像存储在图像序列中。

一旦以图像序列存储三个照相机的图像，则执行该参考轨迹的参数化，作为示教参考粘接踪迹的后续步骤。参数化中利用机器人行进路径、机器人行进时间和粘接踪迹的方向、宽度质量。这样就为粘接踪迹产生了一个矢量链，该矢量链能够得到较高的图像记录速度和相对较短的部分区间(在1和3mm之间)。矢量化的另一优点在于，矢量链形式的粘接踪迹可被存储在超越单个照相机范围的总坐标系统中。

从图5的底部图像带显然可以看出，一圆形线围绕涂敷设备11的中心设置，粘接踪迹20的两个边缘点21和22被设置在圆形线上。将该圆形线分割：将-10°到130°的角度范围分配给第一照相机，将110°到250°的角度范围分配给第二照相机，将230°到10°的角度范围分配给第三照相机，从而通过重叠单个照相机的区域而实现涂敷设备11周围的无缝覆盖。由此得到三个图像带的笛卡儿坐标系或极坐标系形式的总坐标系。

如果粘接踪迹行进到某个照相机的视野之外，则粘接踪迹过渡性地处于两个照相机的角度范围的重叠区中。如果粘接踪迹然后从一个照相机的圆形线的部分通过重叠区域行进到另一照相机的圆形线的部分，则进行从一个照相机到另一个照相机的自动转换。图4借助于各个照相机的当前活动的视野展示了这一点。

通过形成圆形测径器的各个照相机可实现上述的优点，通过涂敷设备11形成圆形测径器的中心，由此在直接围绕涂敷设备于圆形线上进行的粘接踪迹的边缘21和22的边缘搜索。为此目的，必要的是各个照相机对准涂敷设备，由此各个照相机的纵轴和涂敷设备的纵轴相交。

下文展示了示教操作和/或参考粘接轨迹的示教。

用户可以通过鼠标点击指示粘接轨迹位置的轨迹启动参考粘接踪迹示教过程。这对于在连续照相机图像中完全自动识别粘接轨迹的位置和方向是足够的，因为图像记录速度足够高，并在一接一个地非常快地记录各个图像，例如每1mm到3mm。从起点开始，一个图像接一个图像地扫描粘接剂，由此利用当前图像中检测出的粘接轨迹位置和粘接轨迹角度作为先验知识用于下一图像。轨迹半径通常超出20mm这一事实有助于粘接踪迹的完全自动捕获，而无需人工判定和/或估计粘接踪迹的图像和/或位置。结果，可以限制搜索区域，这样，借助于高图像记录速率，就能够计算出粘接踪迹在下一个图像中的基本行进方向。

图6展示软件的设计原理，该示教和/或示教操作产生图像序列，而该图像序列又有助于自动参数化。在合适的情况下，此参数化可由使用者预置，并且在检查操作期间结合行进文件(progression file)用于涂敷粘接踪迹的检查。

以下将简要说明对已涂敷的粘接踪迹的在线监控。图1的涂敷设备11将粘接踪迹涂敷到金属板30上，涂敷设备11可与照相机一同在金属板30之上移动。但是，也可以是反向运动，即金属板30被移动而涂敷设备连同照相机被设置在固定位置。图5所示的圆形规的圆形线上的照相机12、13、14同步且并行地确定和分析涂敷粘接踪迹20，每个照相机仅记录一个图像带，并且将这些图像带结合成单一图像以便形成图像序列。由于每个照相机只记录一个图像带，因此数量减少，因此图像记录速率相应增加，结合图像中的单个图像带有助于同步地、并行地并且同时地捕获这三个照相机图像，并可以直接将这三个照相机的图像作为位置函数直接分配。结果，由于在示教参考粘接踪迹和检查涂敷粘接踪迹中都具有较高的图像记录速率，可以实现高行进速度和高精度下的对粘接足迹的实时在线监控。这里，在行进列表中总结了与粘接剂搜索区域中的粘接踪迹、传感器的角度分配、粘接剂评估、机器人行进路线以及机器人行进时间相关的信息。

根据本发明一实施例，可使用评估函数、特别是模糊评估(fuzzyassessment)来寻找粘接踪迹的边缘。为了确定和评估粘接踪迹，在模糊评估的计算中包括下列参数：

边缘对的宽度(边缘1：粘接踪迹的左边缘；边缘2：粘接踪迹的右边缘)；边缘对之间投影的灰度值分布的平均灰度值；边缘对比度(两个边缘幅度的几何平均值)；以及位置的行进(两个粘接边缘之间的中心与搜索区域中心的定向偏差，以像素计算)。借助这些参数以及模糊评估函数的使用，可极为精确地描述粘接踪迹，从而可以可靠的方式自动识别粘接踪迹。

根据本发明的装置的照明模块(未图示)是由LED、尤其是红外LED、UV LED或RGB LED构成。为了在图像记录中获得高对比度，LED可闪烁，即可将短促、强大的约1.0到0.01ms的电流脉冲施加到二极管上。这里，能够发射多色光的发光二极管尤其有利，从而传感器设计可转换成其它类型的粘接剂和/或粘接剂颜色，而无需进行重新设置。

图7展示了圆形标定盘形式的标定设备40，以便向各个照相机分配其标度系数、角度分配和搜索圆周的中心以及半径。标定盘由以基本上10°的角距离布置在圆形线上的各个形状要素和/或点41组成。另外，为了标定三个照相机，彼此等间距地布置标记点42。使用补偿计算从各个点的中心坐标进行计算，计算各个照相机的标度系数，计算搜索区域的中心以及半径。处于总坐标系中0°、120°、240°角度上的标记点允许对角度分配和各个照相机的相应视野进行确定。特别地，在图7中使用三个矩形表示各个照相机的视野，因此，形状要素41可以对应于用于检测粘接踪迹的圆形测径器的圆形线。

图8展示了涂敷设备11，以虚线展示围绕涂敷设备11的各个图像带31、32和33，表示单个照相机的读出区域。在带32和33的重叠区域监控粘接踪迹20，从而这两个照相机是当前活动的。若粘接踪迹相对于涂敷设备11的行进发生变化，如果可行，只有一个照相机是当前活动的，将一个围绕涂敷设备11同心设置的基本上圆形测径器(未图示)用于此目的。

根据此实施例，由围绕涂敷设备的多个照相机形成该圆形测径器，但是，特别是，可以距离涂敷设备中心的不同半径附加该测径器。为了检查涂敷结构和/或粘接踪迹，使照相机对准中心与涂敷设备中心一致的圆和/或圆形线。如上文说明的粘接踪迹的光学侦测随后在此圆形线行进。

根据图9描述了通过投影进行的三维轮廓分析，从而提供对涂敷设备的位置修正。为了清晰地进行说明，图9再次仅展示了以虚线表示的两个照相机视野51、52。在两个照相机视场51、52的重叠区域展示了多个激光线60，其用于关于结构线宽度和轮廓的外形分析(profile analysis)和所谓的软轮廓的产生。由投影设备产生激光线60，这些投影设备可设置在具有三个照相机的光学传感器上。此外，投影设备可直接设置在涂敷设备11上。圆70示意性表示具有三个照相机的传感器。投影到组件30和/或金属板30上的激光线和/或激光带将组件上采用常规图像处理方法无法进行三维分析的轮廓加亮。通过激光线在该组件上产生人工特征，并且随后根据立体测定法借助图像处理对这些人工特征进行分析。因而，图9展示了在涂敷密封剂之前不存在可分析的硬特征的情况下进行三维位置识别的原理。

因此，这里描述了一种利用至少一个照相机、尤其多个照相机对将要被涂敷到基板、特别是粘接线或粘接踪迹上的结构进行识别的方法和/或装置。关于这一点，仅通过对所述参考涂敷结构的单次扫描来执行对参考涂敷结构的示教，从而将所有照相机的图像储存于一个图像序列中。

此外，这里还描述了一种对将要被涂敷到基板上的结构进行识别的方法，由此在扫描期间将涂敷结构作为一光学表示进行处理，使得各个照相机仅记录一个图像带以便形成一个图像序列并且由于仅记录一个图像带使数据量减少，从而提高了图像记录速率。