基于红外热像仪的工件缺陷测量方法和系统

摘要

本发明属于红外测量技术领域，具体提供一种基于红外热像仪的工件缺陷测量方法和系统。本发明旨在解决现有的红外热像仪在工业应用中测量精度差的问题。为此，本发明的测量方法主要包括以下步骤：使红外热像仪获取第一标定块的第一图像；根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系；获取第一标定块坐标系和工件坐标系之间的第三映射关系；根据所述第一映射关系和第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系；使所述红外热像仪遍历所述工件，检测并测量所述工件上的缺陷。因此，本发明的测量方法能够使红外热像仪精准地定位工件上缺陷的位置，并对工件上缺陷的尺寸进行准确地测量。

说明书

技术领域

本发明属于红外测量技术领域，具体提供一种基于红外热像仪的工件缺陷测量方法和系统。

背景技术

红外热像仪是通过红外探测器和光学成像物镜接收被测目标的红外辐射能量来获得红外热像图的，这种热像图与物体表面的热分布场相对应。因为其特殊的成像原理，红外热像仪在成像时不受可见光源的影响，在很多地方有着不可替代的作用，如大雾、夜晚等能见度差的自然场景或者光照差的工业现场。除此之外，相比于可见光相机，红外热像仪可以更好的探测到对比度差但有温差的缺陷(例如缺陷与产品表面都为黑色)或产品的内部缺陷，可以被应用于很多特定的工业检测场景。但是由于红外热像仪分辨率低、成像噪音大、标定困难等原因，现今还未见到在工业测量中的实际应用案例。

在工业中常见的测量任务就是工件的缺陷检测，将红外热像仪安装在机械臂末端，通过机器人带着红外热像仪扫描待测目标，完成检测任务。要通过采集到的红外图像测量被测工件缺陷的大小和位置，就必须实现红外测量系统的标定，建立红外视觉系统与待测对象之间的成像约束。红外测量系统通常需要标定红外热像仪的内参数和外参数。现有对红外热像仪内参数的标定方法主要有以下三种。

其一，采用棋盘格，通常为材质有差异的黑白棋盘格。其中，黑格区域上设置有隔热涂料层，白格区域上设置有发热材料层。当加热装置加热黑白棋盘格时，黑格区域和白格区域会产生温差，形成可用于红外热像仪标定的几何图案。

其二，采用标定箱。标定箱的靶面上设置有镂空的圆孔或者方孔，标定箱内放置有加热管或者红外发光二极管。工作时为加热管或者红外发光二极管通电发出红外辐射，使标定箱的靶面形成可用于红外热像仪标定的几何图像。

其三，采用标定靶，即在金属薄板上设置多个镂空的方形孔，然后将金属薄板贴在木制板材上。标定时使用凉水冲淋或者电加热金属薄板，使其产生温差，进而形成可用于红外热像仪标定的几何图案。

以上三种方案都需要不断地变换标定板的角度和位置，以便使红外热像仪采集多组图像，从而完成红外热像仪内参数的标定。其区别只是使用的标定板不同。

但是上述三种红外热像仪内参数的标定方案，不能用在工业红外测量中。工业测量要求高精度，为了在红外热像仪有限的分辨率情况下，尽可能的提高检测的精度，通常的想法是减小像素当量即减小检测视场。在减小视场的同时，景深也会减小，且红外相机本身景深较小，所以该红外视觉测量系统具有小视场和小景深的特点。要完成小视场下的测量系统标定，需要将上述的标定参照物尺寸制作的很小。但是，由于红外成像存在热扩散现象，当标定板的尺寸较小时，红外热像仪获取的图案尺寸和模糊带尺寸几乎相当，使得标定角点(标定块上镂空图案的边角)的提取精度极低。此外，在小景深下多个角度拍摄标定板会导致离焦，进而也无法精确提取标定角点。

按照常规测量系统的标定方法，要完成红外测量系统的标定，除了要得到红外热像仪的内参数外，还需要得到红外热像仪的外参数，而对红外热像仪外参数的标定也存在标定图案特征点模糊、多角度拍摄离焦，至今还没有有效的方法。

相应地，本领域需要一种新的基于红外热像仪的工件缺陷测量方法来解决上述问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的红外热像仪在工业应用中测量精度差的问题，本发明提供了一种基于红外热像仪的工件缺陷测量方法，所述测量方法包括以下步骤：

使红外热像仪获取第一标定块的第一图像；

根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系；

根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系；

使所述红外热像仪遍历所述工件，检测并测量所述工件上的缺陷。

在上述测量方法的优选技术方案中，“根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系”的步骤进一步包括：

获取所述第一图像的边缘；

根据所述边缘获取所述第一图像的角点；

通过所述第一图像的角点和所述第一标定块的角点获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系。

在上述测量方法的优选技术方案中，“获取所述第一图像的边缘”的步骤进一步包括：

通过Canny边缘检测算子获取所述第一图像的边缘点。

在上述测量方法的优选技术方案中，“根据所述边缘获取所述第一图像的角点”的步骤进一步包括：

通过霍夫变换获得边缘直线集合；

通过聚类获得精确的边缘直线；

通过彼此相交的两条直线获取所述第一图像的角点。

在上述测量方法的优选技术方案中，在获取所述第二映射关系的步骤之前，所述测量方法还包括下列步骤：

根据所述第一标定块的角点彼此之间的位置关系，获取第一标定块坐标系和工件坐标系之间的第三映射关系；

“根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系”的步骤进一步包括：

根据所述第一映射关系和所述第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系。

在上述测量方法的优选技术方案中，所述第一标定块设置在所述工件上。

在上述测量方法的优选技术方案中，在获取第一标定块的第一图像的步骤之后，所述测量方法还包括以下步骤：

使所述红外热像仪沿着工件坐标系的坐标轴移动，直至第二标定块全部落入到所述红外热像仪的视场中；

使红外热像仪获取第二标定块的第二图像；

根据所述第二图像和所述第一映射关系获取所述第二标定块在所述第一标定块坐标系中的位置；

根据所述第一标定块和所述第二标定块对应角点之间的位置关系，获取第一标定块坐标系和工件坐标系之间的第三映射关系；

其中，所述第一标定块和所述第二标定块相同，并且所述第一标定块的一条边线和所述第二标定块对应的一条边线在一条直线上。

在上述测量方法的优选技术方案中，“根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系”的步骤进一步包括：

根据所述第一映射关系和所述第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系。

在上述测量方法的优选技术方案中，所述第一标定块和所述第二标定块都设置在所述工件上。

此外，本发明还提供了一种基于红外热像仪的工件缺陷测量系统，所述测量系统包括：

机械臂；

红外热像仪，其设置在所述机械臂的自由端；

工件，其与所述机械臂的固定端相对固定；

第一标定块，其设置在所述工件的一端；

第二标定块，其设置在所述工件的另一端；

控制器，其用于控制所述机械臂和/或所述红外热像仪执行上述任一项所述的测量方法。

本领域技术人员能够理解的是，在本发明的优选技术方案中，通过使红外热像仪获取第一标定块的第一图像，使得红外热像仪能够根据第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系，进而使红外热像仪能够根据第一映射关系获取红外热像仪坐标系和工件坐标系之间的第二映射关系，并因此建立红外热像仪和工件之间的坐标关系。然后使红外热像仪遍历整个工件，检测并测量工件上的缺陷。因此，本发明的测量方法能够使红外热像仪精准地定位工件上缺陷的位置，并对工件上缺陷的尺寸进行准确地测量。

进一步，在本发明的优选实施方案中，第一映射关系主要通过以下步骤建立：先通过Canny边缘检测算子获取第一图像的边缘点；然后通过霍夫变换和聚类获取组成边缘的直线；继而通过彼此相交的两条直线获取第一图像的角点；最后通过第一图像的角点和第一标定块的角点获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系。

更进一步，本发明的第一标定块坐标系和工件坐标系之间还存在第三映射关系，因此，第二映射关系具体地通过第一映射关系和第三映射关系获得。或者本领域技术人员也可以根据需要，在第一标定块设立之初，就使第一标定块坐标系和工件坐标系重合，即使第一标定块和工件位于同一坐标系中。

附图说明

下面参照附图来描述本发明的优选实施方式，附图中：

图1是本发明的测量系统的构成示意图；

图2是图1中测量系统的局部放大图；

图3是本发明的测量方法的主要步骤流程图；

图4是本发明获得第一映射关系的主要步骤流程图；

图5是本发明获得第二映射关系的主要步骤流程图；

图6是第一标定块坐标系的示意图；

图7是红外热像仪的测量结果列表；

图8是标定针和红外热像仪的测量结果比对列表；

图9是标定针和红外热像仪的测量精度比对列表。

附图标记列表：

1、机械臂；2、红外热像仪；3、工件；4、第一标定块；5、第二标定块。

具体实施方式

本领域技术人员应当理解的是，本节实施方式仅仅用于解释本发明的技术原理，并非用于限制本发明的保护范围。例如，本发明的标定块不仅可以是正方形结构还可以是其他任意的多边形结构，本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合，调整后的技术方案仍将落入本发明的保护范围。

需要说明的是，在本发明的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

如图1和图2所示，本发明的基于红外热像仪的工件缺陷测量系统主要包括机械臂1、红外热像仪2、工件3、第一标定块4和第二标定块5。其中，机械臂1的固定端被固定到地面、工作平台、支座等基体上，红外热像仪2被固定到机械臂1的自由端，工件3被放置到基体上，并且与机械臂1的固定端相对固定。第一标定块4和第二标定块5被分别设置在工件3的两端。本领域技术人员能够理解的是，第一标定块4和第二标定块5可以采用任意可行的连接方式设置在工件3上，示例性地，通过3D打印机打印到工件3上，通过粘贴的方式固定到工件3上，通过铆钉固定到工件3上。

进一步，虽然图中并未明确示出，但是在本发明的优选实施方案中，第一标定块4和第二标定块5是两个完全相同的正方形或长方形块，并且第一标定块4的一个边缘和第二标定块5的一个边缘在同一条直线或近似地在同一条直线上，并且该直线与工件3的工件坐标系的一个坐标轴尽量平行。优选地，两个标定块的厚度尽可能的小。进一步优选地，两个标定块的大小约为红外热像仪2检测视场大小的三分之一。此外，本领域技术人员也可以根据需要，将第一标定块4和第二标定块5设置成其他任意可行的正多边形结构，以便于标定块上特征点的提取。或者本领域技术人员也可以根据需要，将第一标定块4和第二标定块5设置成非正多边形结构。进一步，本领域技术人员还可以根据需要，在能够被红外热像仪2拍摄到完整的结构图像的前提下，将第一标定块4和第二标定块5设置成其他任意可行的大小，例如红外热像仪2检测视场大小的二分之一、三分之二、五分之四等。

更进一步，虽然图中并未示出，但是第一标定块4和第二标定块5的材质与工件3的材质不同。以便工件3、第一标定块4和第二标定块5被加热之后能够产生温差，辐射出不同强度的红外线，便于红外热像仪2对第一标定块4和第二标定块5进行标定。

再进一步，虽然图中并未示出，但是本发明的测量系统还包括控制器和加热装置，所述加热装置用于加热工件3、第一标定块4和第二标定块5，所述控制器用于控制机械臂1、红外热像仪2和所述加热装置执行相应的操作。

如图1所示，为了方便描述，将工件3的工件坐标系记做{W}。将红外热像仪2的红外热像仪坐标系记做{C}，并且，将标定时刻的红外热像仪坐标系记做{C(0)}，将测量时刻的红外热像仪坐标系记做{C(t)}。将机械臂1的机械臂坐标系记做{E}，并且，将标定时刻的机械臂坐标系记做{E(0)}，将测量时刻的机械臂坐标系记做{E(t)}。将第一标记块4的第一标记块坐标系记做{S}，并且，将标定时刻的第一标记块坐标系记做{S(0)}，将测量时刻的第一标记块坐标系记做{S(t)}。

继续参阅图1，工件坐标系{W}的原点是图1中工件3的右下角点，坐标轴与工件3的边缘重合。机械臂坐标系{E}的原点是图1中机械臂1的固定端上的一点。第一标记块坐标系{S}的原点是图1中第一标定块4的右下角点，坐标轴与第一标定块4的边缘重合。红外热像仪坐标系{C}是常规的相机坐标系或者是红外热像仪2所拍摄到的整个图像的坐标系。

此外，本领域技术人员也可以根据需要，将坐标系{W}、{E}、{S}、{C}的原点的位置和坐标轴的方向做出适当变换。例如，将{W}的原点设置成图1中工件3的左下角点。

下面结合上述的测量系统对本发明的测量方法进行详细说明。

如图3所示，本发明的基于红外热像仪的工件缺陷测量方法主要包括：

步骤S100，使红外热像仪2获取第一标定块4的第一图像；

步骤S200，根据第一图像获取红外热像仪坐标系{C}和第一标定块坐标系{S}之间的第一映射关系；

步骤S300，获取第一标定块坐标系{S}和工件坐标系{W}之间的第三映射关系；

步骤S400，根据第一映射关系和第三映射关系获取红外热像仪坐标系{C}和工件坐标系{W}之间的第二映射关系；

步骤S500，使红外热像仪2遍历整个工件3，检测并测量工件3上的缺陷。

其中，步骤S300是可选地步骤。当步骤S300不执行时，步骤S400变换为：根据第一映射关系获取红外热像仪坐标系{C}和工件坐标系{W}之间的第二映射关系。

具体地，在步骤S100中，先建立机械臂坐标系{E}和工件坐标系{W}之间的映射关系，并记做的转换矩阵^ET_W。由于该映射关系的建立是本领域技术人员所熟知的技术手段，所以此处不再做过多的说明。控制器使机械臂1驱动红外热像仪2沿着工件坐标系{W}的坐标轴移动，直至第一标定块4完全出现在红外热像仪2的检测视场下为止。然后，控制器使红外热像仪2拍摄第一标定块4的图像。为了区别于第二标定块5的图像这里记做第一图像。

具体地，在步骤S200中，先获取第一图像的边缘，然后根据所述边缘获取第一图像的角点，继而通过第一图像的角点和第一标定块4的角点获取{C}和{S}之间的第一映射关系。具体地，如图4中所示的步骤S201至步骤S204。

在步骤S201中，控制器先根据第一标定块4的形状确定需要拟合的直线数，根据上述的正方形或长方形的第一标定块4该直线数为4。然后通过Canny边缘检测算子获取所述第一图像的边缘点集P_e，即第一图像的边缘。

在步骤S202中，控制器先通过霍夫变换获取组成所述边缘的直线参数集L_h，然后在霍夫空间中将直线参数进行聚类，聚为4类，并将每一类的均值作为该类的代表输出，获得4条直线。然后计算这4条直线的交点并去除离交点位置过远(大于设定阈值)的点。这样可以得到4条线段。根据这4条线段，确定4个边缘区域。具体方法为，记线段的两个端点为C₁(x₁，y₁)和C₂(x₂，y₂)，则对应的矩形边缘区域ROI的左上顶点和右下顶点的坐标为C₁’＝(x₁’，y₁’)和C₂’＝(x₂’，y₂’)。其中，

x₁’＝x₁+α(x₂-x₁)，y₁’＝y₁+β(y₁-y₂)；

x₂’＝x₂+γ(x₁-x₂)，y₂’＝y₂+φ(y₂-y₁)。

其中，α、β、γ、φ是小于1的常数，其可以根据具体情况设定。对ROI区域分别进行横向或纵向扫描(由该ROI区域对应的线段斜率确定)，取灰度梯度变化最大的c(其数值可以根据具体情况设定)个点，再用最小二乘法拟合直线，得到第一标定块4的4条线段。

在步骤S203中，控制器获取线段之间的交点，作为标定特征点，即角点。本领域技术人员能够理解的是，由于第一标定块4是正方形或长方形，所以角点为4个。从第一图像中提取的角点坐标记为^I1P₁[u₁，v₁]，^I1P₂[u₂，v₂]，^I1P₃[u₃，v₃]，^I1P₄[u₄，v₄]。

在步骤S204中，控制器先获取第一标定块4的四个角点在第一标定块坐标系{S}中的坐标，并记做^S1P₁[x₁，y₁，0]，^S1P₂[x₂，y₂，0]，^S1P₃[x₃，y₃，0]，^S1P₄[x₄，y₄，0]。然后将第一图像的四个角点的坐标和第一标定块4的四个角点的坐标带入下列公式(1)：

其中，n＝4。求出{C}和{S}之间的第一映射关系，即参数矩阵m＝[m₁，m₂，m₃，m₄，m₅，m₆，m₇，m₈]。

具体地，在步骤S300中，本领域技术人员可以在第一标定块4设置在工件3上时，就使坐标系{S}和{W}重合；或者使{S}的两个坐标轴与{W}的两个坐标轴平行，在获取第一映射关系的同时获取{S}和{W}之间的第三映射关系，记做变换矩阵^ST_W。换句话说，当{S}和{W}重合时，第一标定块4的二维坐标系{S}与工件3的三维坐标系{W}部分重合；当{S}的两个坐标轴与{W}的两个坐标轴平行时，仅通过第一标定块4就可以获得{S}和{W}之间的第三映射关系。

或者，本领域技术人员也可以根据如图5中所示的步骤S301至步骤S304借助第二标定块5获取更精确的第三映射关系。

在步骤S301中，如图6所示，控制器使机械臂1驱动红外热像仪2沿着工件3的工件坐标系{W}的y坐标轴移动，直至第二标定块5完全落入到红外热像仪2的检测视场中。

在步骤S302中，控制器使红外热像仪2拍摄第二标定块5的图像，为了区别于第一标定块4的图像这里记做第二图像。

在步骤S303中，参照步骤S201至步骤S203，控制器获取第二图像的四个角点，并分别记做^I2P₁[u₁’,v₁’]，^I2P_2[u₂’，v₂’]，^I2P₃[u₃’，v₃’]，^I2P₄[u₄’，v₄’]。然后将该四个角点的坐标分别带入下列公式(2)：

如图6所示，计算得到该四个角点在第一标定块{S}中的坐标^S2P₁[x₁’，y₁’，0]，^S2P₂[x₂’，y₂’，0]，^S2P₃[x₃’，y₃’，0]，^S2P₄[x₄’，y₄’，0]。

在步骤S304中，根据两个标定块之间的位置关系获取第三映射关系。本领域技术人员能够理解的是，由于第一标定块4的一个角点与坐标系{S}的原点重合，所以两个标定块之间的位置关系，可以仅通过第二标定块5上各个角点的坐标确定。具体地，先计算Δx＝(x1’+x2’+x3’+x4’)/n。然后计算红外相机2沿工件坐标系{W}移动距离的Δy。将Δx和Δy代入下列公式(3)计算坐标系偏转角α。

从而获得第三映射关系，记做变换矩阵^ST_W。

基于步骤S301至步骤S304的描述，本领域技术人员能够理解的是，实际上第二标定块5属于是对第一标定块4的校正，以便提高第三映射关系的精度。因此即便是没有第二标定块5，仅仅通过第一标定块4也能够获取第三映射关系，只是第三映射关系的精度较差而已。

本领域技术人员能够理解的是，步骤S301和步骤S302还可以在步骤S100执行完之后直接执行，但是步骤S303和步骤S304必须在步骤S204之后执行。

具体地，在步骤S400中，通过第一映射关系m和第三映射关系^ST_W获得红外热像仪坐标系{C}与工件坐标系{W}之间的第二映射关系。

具体地，在步骤S500中，首先控制器使加热装置加热工件3，使工件3上的缺陷和工件本体之间产生温差，以便使缺陷在红外热像仪2拍摄的图像中清晰地显示。其次，在保证机械臂1的自由端与工件3的表面的切面之间关系不变的情况下，控制器使机械臂1带动红外热像仪2运动，使缺陷进入红外热像仪2中，进而获取缺陷的热图像。继而，控制器提取该热图像中缺陷的特征点的图像坐标^IdP(u_Id，v_Id)，并获取机械臂1的旋转角度和红外热像仪2移动的距离，计算转换矩阵^E(0)T_E(t)。然后根据公式(4)，计算该缺陷的特征点在第一标定块坐标系{S}中的实际坐标^SdP(x_Sd，y_Sd，0)。

最后根据公式(5)计算出缺陷在工件坐标系{W}中的坐标^wdP＝(x_Wd，y_Wd，z_Wd)。

综合所述，本发明的测量方法和测量系统具有以下优点：

其一，标定过程操作简单，只需简单的三步操作即可完成测量系统的标定，相比于其他方法更加简单、方便。

其二，系统成本低，标定块(4、5)可以通过喷漆的方式印到工件3上，整个标定过程不需要搭建其他辅助设备，成本远低于传统标定靶的制作。

其三，标定精度高，与现有方式提取角点作为标定点的方式相比，本发明通过提取边缘获得角点的方式极大地减小了提取标定误差。并且，本发明的测量方法也克服了热扩散、小景深等给标定带来的难题，提高了标定精度。

其四，标定效率高，本发明的标定方法计算量小，标定速度快。

下面对本发明的测量方法进行举例说明。

在该示例中，红外热像仪2距离工件3表面的距离约为15cm，红外热像仪2与工件3表面的夹角约为45°。第一标定块4和第二标定块5通过喷漆的方式打印到工件3上，并且第一标定块4和第二标定块5的尺寸均为20mm×40mm。

首先机械臂1标定其与工件坐标系{W}的关系^ET_W，然后将机械臂1移动到第一标定块4完全出现在红外热像仪2视场内的位置。继而加热第一标定块4，直至第一标定块4在红外热像仪2中清晰成像。红外热像仪2拍摄一张红外图像并提取特征点图像坐标，实验测得的数据为A(260.58，256.61)，B(278.64，144.45)，C(627.01，148.36)，D(642.30，261.41)。

根据特征点计算m矩阵得：

m＝[9.47，2.234，260.58，0.09，-4.92，256.61，-1.142，0.005]

再让机械臂1驱动红外热像仪2沿工件坐标系{W}的y轴移动，直至第二标定块5完全出现在红外热像仪2视场内为止，记录红外热像仪2移动的位置，实验测得的数据为Δy＝399。

然后以上述同样的方法再拍摄一张热图像并提取特征点图像坐标，并计算得到Δx＝548。

计算坐标系变换矩阵为：

用标定出的结果测量已知长度的物体，其结果和精度如图7所示。

用标定出的结果测量任意点的坐标，同时用机械臂1的标定针测量这些点的坐标，其结果和精度如图8所示。

对比标定针和红外热像仪2的测量结果，如图9所示。

从图7中可以看出，本发明的测量方法对尺寸测量的误差在0.3mm以内。从图8中可以看出，本发明的测量方法与标定针的测量方法相比，其结果差异很稳定，测量结果更加可靠。从图9中可以看出，本发明的测量方法与标定针的测量方法相比，测量精度更高。基于红外热像仪2的像素与测量视场的大小，基本达到了像素点测量的极限。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。