影像缝合方法与影像缝合装置

摘要

本发明披露一种影像缝合方法与影像缝合装置。该影像缝合方法包括以下步骤。提供校正单元，其中校正单元的校正装置包含多个已知特征信息。拍摄校正装置的影像。建立转换关系式。依据转换关系式分析影像的位置关系。组合多个影像。

说明书

技术领域

本发明涉及一种影像处理技术，且特别是涉及一种利用多拍摄技术且无需重叠影像的影像缝合方法与影像缝合装置。

背景技术

近年来，机器视觉检测方法广泛地应用于工业自动化中，随着加工能力的提升，而检测精度的要求程度也愈来愈高。在同样范围检测视区下，一般而言为提高精度的方法多是更换较高像素的拍摄装置或增加拍摄装置的个数，或者是，缩小视区、牺牲可视范围，采用更高倍率的镜头以取得较高的解析。如此一来，虽可能提高精度但却无法将欲检测工件或检测范围完整的纳入镜头视野中，导致无法进行检测。

此外，已知技术往往是用影像上相关信息去合成，举例而言，找出两影像的特征信息，并就重叠部分加以组合。然而在原料检测中，即在一检测区中铺满食材中酱料、馅料，而挑出有问题的杂质、碎屑，而这些酱料、馅料彼此间尺寸大小差异不大，故在萃取影像的特征信息较为不明显，此举不仅对于后续进行影像迭合后，产生的影像精度也不高，亦造成检测上的困难度。

发明内容

本发明提供一种影像缝合方法，此方法在拍摄区间无需重叠，而能扩大检测影像的视野，并达到高精度的影像缝合的目的。

本发明提供一种影像缝合装置，此装置利用一校正单元建立对象空间与影像平面的对应关系，进而建立各影像平面间的对应关系，而缝合各个影像，故无需重叠各影像而能扩大检测影像的视野，且也能提升检测系统的能力。

本发明的一实施例提出一种影像缝合方法，影像缝合方法包括以下步骤。提供一校正单元，其中校正单元包含多个校正装置，多个校正装置分别对应于一待检测对象的不同位置上，各校正装置包含多个已知特征信息。拍摄各校正装置的一影像，其中各影像包含多个影像特征信息，各影像的多个影像特征信息对应于各校正装置的多个已知特征信息。建立一转换关系式，其中转换关系式为依据各校正装置中多个已知特征信息与对应影像中该多个影像特征信息所建立。依据转换关系式分析各影像的位置关系。组合多个影像。

本发明的一实施例提出一种影像缝合装置，影像缝合装置包括一校正单元、多个影像撷取单元以及一处理单元。校正单元包含多个校正装置，多个校正装置分别设置于一待检测对象的不同位置上，各校正装置包含多个已知特征信息。各影像撷取单元用以撷取对应校正装置的一影像。处理单元耦接于影像撷取单元，处理单元接收多个影像撷取单元所撷取的影像，各影像包含多个影像特征信息，各影像的多个影像特征信息对应于各校正装置的多个已知特征信息，处理单元依据各校正装置中多个已知特征信息与对应影像中该多个影像特征信息，建立一转换关系式，且处理单元依据转换关系式，以分析各影像撷取单元于待检测对象的位置关系，并组合各影像撷取单元的影像。

基于上述，本发明的影像缝合方法与影像缝合装置中，对于校正单元中各个校正装置上已知特征信息进行拍摄，进而建立校正装置与影像的对应转换关系式，接着，通过此转换关系式，可建立各个影像撷取单元之间的对应位置关系，进而依据此影像对应位置关系而将各个影像进行组合，故无需重叠各影像而能够扩大检测影像的视野，并达到高精密的影像缝合的目的。

附图说明

图1为本发明的影像缝合方法的流程图。

图2为本发明的影像缝合方法的进一步的流程图。

图3为本发明的影像缝合方法的进一步的流程图。

图4为本发明的影像缝合装置的示意图。

图5为本发明的校正装置一实施例的示意图。

图6为本发明的影像缝合装置一使用状态的示意图。

图7为本发明的转换关系式的坐标示意图。

图8A为本发明的影像缝合方法实际一应用例的原始拍摄结果的示意图。

图8B为本发明的影像缝合方法实际一应用例的缝合结果的示意图。

图8C为图8B的局部放大图。

附图符号说明

100 影像缝合装置

110 校正单元

112 校正装置

112a第一校正装置

112b第二校正装置

112c第三校正装置

114 已知特征信息

116 标尺元件

120 影像撷取单元

122 第一影像撷取单元

124 第二影像撷取单元

126 第三影像撷取单元

130 处理单元

50待检测对象

60目标物空间坐标系

70影像空间坐标系

12、24、36影像

14、16、22、26、32、34虚拟影像

12a～12c影像特征信息

14a、16a虚拟点特征信息

24a～24c影像特征信息

22a、26a虚拟点特征信息

36a 影像特征信息

32a、36a虚拟点特征信息

A 目标物

d 间隔

G 旋转影像平面

L 中心

f 焦距

x_A、y_A、z_A目标物在目标物空间坐标系的坐标值

X_L、Y_L、Z_L目标物空间坐标系的基准坐标值

x_a、y_a相机在旋转影像平面的成像位置

z_a相机的中心距离旋转影像平面的距离

x₀、y₀影像的基准坐标值

E 区域

S100影像缝合方法

S110～S160步骤

S122～S124步骤

S124a、S124b步骤

S142～S144步骤

具体实施方式

以下谨结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此限制本发明的保护范围。

图1为本发明的影像缝合方法的流程图。请参考图1。影像缝合方法S100包括以下步骤S110～S160。

影像缝合方法S100首先以步骤S110提供一校正单元(calibrationunit)110。

如图4所示，图4为本发明的影像缝合装置的示意图。影像缝合装置100包括一校正单元110、多个影像撷取单元(image capturing unit)120以及一处理单元(process unit)130，其中处理单元130耦接于影像撷取单元120，处理单元130接收多个影像撷取单元120所撷取的影像。

校正单元(calibration unit)110包含多个校正装置112，多个校正装置112分别设置于一待检测对象50的不同位置上。以图4而言，校正装置112的数量有三个，然本发明不对校正装置的数量加以限制，第一校正装置112a、第二校正装置112b及第三校正装置112c依序由左至右排列在待检测对象50上，其中第一校正装置112a、第二校正装置112b及第三校正装置112c彼此不重叠。此外，校正装置112的尺寸例如是小于待检测对象50的尺寸，但不以此为限，于其他未示出的实施例中，校正装置的尺寸例如是大于等于检测对象的尺寸。

各校正装置112包含多个已知特征信息114。在此所称已知特征信息114为在校正装置112上的图样分布，而此校正装置112可为具非特定重复性结构纹路的平面，其中纹路可为各种几何形状的图样，举例而言，如图4所示的已知特征信息114的数量为九个，然本发明不对此已知特征信息的数量加以限制，且已知特征信息114的形状为圆形，这些已知特征信息114呈矩阵排列且相互等间隔配置。于其他未示出的实施例中，已知特征信息亦可为矩形、长方形、三角形、十字形等各种几何形状的图样，或者是，已知特征信息可为线条或文字，而已知特征信息的排列方式亦可设计成以非等间隔的方式排列，端视实际使用状况而可择定所选用的已知特征信息的图样分布及配置情况。

进一步地，如图5所示，图5为本发明的校正装置一实施例的示意图。校正装置112包含标尺元件116及已知特征信息114，该标尺元件116配置于已知特征信息114的周围，标尺元件116上具有标尺记号或字符符号而能供使用者判定各已知特征信息114的所在坐标值，以及多个已知特征信息114之间彼此的相互位置关系。

再回到图1所示，接着进行步骤S120，拍摄各校正装置112的一影像，其中各影像包含多个影像特征信息，各影像的多个影像特征信息对应于校正装置110的多个已知特征信息114。

详细而言，如图4所示，各影像撷取单元120用以撷取对应校正装置120的一影像。

影像撷取单元120例如为电荷耦合元件(CCD，Charge Coupled Device)、互补性金属氧化物半导体(CMOS，Complementary Metal-OxideSemiconductor)、旋转变焦式摄影机(pan-tilt-zoom camera)或数字监控器(DVR，Digital Video Recorder)，但不以此为限。

如图6所示，图6为本发明的影像缝合装置一使用状态的示意图。为了便于说明，图6仅示出部分元件。影像撷取单元120的数量对应于校正装置120的数量，故影像撷取单元120的数量为三个，图6中由左至右分别为第一影像撷取单元122、第二影像撷取单元124及第三影像撷取单元126，且第一影像撷取单元122、第二影像撷取单元124及第三影像撷取单元126分别对应第一校正装置112a、第二校正装置112b及第三校正装置112c。

如此配置之下，第一影像撷取单元122撷取第一校正装置112a的影像12，第二影像撷取单元124撷取第二校正装置112b的影像24，而第三影像撷取单元126撷取第三校正装置112c的影像36。

如图2所示，图2为本发明的影像缝合方法的进一步的流程图。步骤S120，拍摄各校正装置112的影像后还包括以下步骤S122～S124。

进行步骤S122，萃取各影像的多个影像特征信息。在本实施例中，如图4所示，处理单元130以一影像分析演算法萃取各影像的多个影像特征信息。举例而言，特征撷取的方式例如可使用harris、sobel等影像分析演算法找出影像特征信息的角特征或线特征等的影像特征信息，但不以此为限。

以图6而言，第一影像撷取单元122撷取第一校正装置112a的影像12，各影像12包含多个影像特征信息12a～12c，影像12的多个影像特征信息12a～12c对应于第一校正装置112a的多个已知特征信息114。第二影像撷取单元124撷取第二校正装置112b的影像24，影像24包含多个影像特征信息24a～24c，影像24的多个影像特征信息24a～24c对应于第二校正装置112b的多个已知特征信息114。第三影像撷取单元126撷取第三校正装置112c的影像36，影像36包含多个影像特征信息36a，影像36的多个影像特征信息36a对应于第三校正装置112c的多个已知特征信息114。

再回到图2，进行步骤S122后，接着进行步骤S124，建立多个影像特征信息12a～12c、24a～24c、36a的位置关系。

如步骤S124a，以一字符判定多个影像特征信息12a～12c、24a～24c、36a的位置，举例而言，以如图5所示的标尺元件116，因此，如图6所示的影像12，利用标尺元件116的标尺记号或字符符号来判定影像特征信息12a～12c的坐标值，也可以知道影像特征信息12a～12c彼此之间的位置关系，同理，亦可藉由标尺元件116上的标尺记号或字符符号来建立影像特征信息24a～24c及影像特征信息36a的位置关系。

此外，除了步骤S124a以外，选择性地进行步骤S124b，一纹路分析步骤，藉由此纹路分析步骤包含找出多个影像特征信息的特定规律纹路出现频率，以建立多个影像特征信息12a～12c、24a～24c、36a的位置关系。因此，纹路分析步骤为以各个影像特征信息12a～12c、24a～24c、36a的纹路关系来推知影像特征信息12a～12c、24a～24c、36a彼此之间的位置关系。

以图6中的影像12而言，三个影像特征信息12a～12c成一列，并排列成三行，以形成一3x3矩阵排列的影像12，而影像12中各影像特征信息之间的间隔一致。如此，若定义影像特征信息12a为坐标基准点(0,0)，影像特征信息12b则为(0,-d)，而影像特征信息12c则为(0,-2d)，d为影像特征信息12a与影像特征信息12b两者的间隔，或者为影像特征信息12b与影像特征信息12c两者的间隔。如此可推知影像特征信息12a～12c邻近影像特征信息的位置关系。

上述对校正装置112上的已知特征信息114进行拍摄后，再回到图1，进行步骤S130，建立一转换关系式，其中转换关系式为依据各校正装置112中多个已知特征信息114与对应影像12、14、16中多个影像特征信息12a～12c、24a～24c、36a所建立。

以图6的影像缝合装置100而言，处理单元130依据校正装置112中多个已知特征信息114与对应影像12、14、16中多个影像特征信息12a～12c、24a～24c、36a，建立一转换关系式。

详细而言，所谓转换关系式可用于空间与影像的对应关系，或者影像(影像撷取单元)与影像(影像撷取单元)之间的对应关系。本实施例建立转换关系式为利用一共线条件式演算法，以下以图7说明转换关系式。

图7为本发明的转换关系式的坐标示意图。请参考图7。图7中有一目标物空间坐标系60以及一影像空间坐标系70。

目标物A例如为如图4所示的校正装置112。目标物A处于目标物空间坐标系60，目标物A的坐标为(X_A,Y_A,Z_A)，X_A为目标物A在目标物空间坐标系60的X轴的坐标值，Y_A为目标物A在目标物空间坐标系60的Y轴的坐标值，Z_A为目标物A在目标物空间坐标系60的Z轴的坐标值。在本实施例中，目标物A并非处在目标物空间坐标系60的原点，但不以此为限，于其他实施方式，亦可将目标物A摆放在目标物空间坐标系60的原点。

影像撷取单元120处于影像空间坐标系70，例如为相机。相机对目标物A拍摄后，经由旋转投影影像而得到一旋转影像平面G，而相机的中心L在旋转影像平面G的成像位置为(x_a,y_a)，焦距f为相机的中心L距离旋转影像平面G的距离(z_a)，其中，x_a为在影像空间坐标系70的x轴的坐标值，y_a为在影像空间坐标系70的y轴的坐标值，z_a为在影像空间坐标系70的z轴的坐标值。在本实施例中，相机的中心L并非处在影像空间坐标系70的原点，但不以此为限，于其他实施方式，亦可将相机的中心L摆放在影像空间坐标系70的原点。

相机成像位置与目标物A之间的关系可由以下数学式(1)表示。

数学式(1)中，代表影像撷取单元120对校正装置112，而校正装置112上的每一个已知特征信息114会有一对应的影像特征信息，且会有如数学式(1)的关系。再者，影像的基准坐标值为(x₀,y₀)，以本实施例而言，影像的基准坐标值为原点(0,0)，故以下计算式省略(x₀,y₀)，以降低计算负担。

空间坐标系60的基准坐标值为(X_L,Y_L,Z_L)，以本实施例而言，空间坐标系60的基准坐标值为原点(0,0,0)，Rx为X轴旋转矩阵，Ry为Y轴旋转矩阵，Rz为Z轴旋转矩阵，各轴旋转矩阵如下数学式(2)～(4)所示。

上述数学式(2)～(4)中，ω,φ,κ分别为各轴旋转投影影像的旋转矩阵的角度。

接着，将数学式(1)～(4)展开后，得到以下数学式(5)。

其中m₁₁＝cosφcosκ，m₁₂＝sinωsinφcosκ+cosωsinκ，m₁₃＝-cosωsinφcosκ+sinωsinκ，m₂₁＝-cosφsinκ，m₂₂＝-sinωsinφsinκ+cosωcosκ，m₂₃＝cosωsinφsinκ+sinωcosκ，m₃₁＝sinφ，m₃₂＝-sinωcosφ，m₃₃＝cosωcosφ。

将数学式(5)同时除m₃₃，得到以下数学式(6)。

于本实施例中，焦距f为可知，并设定目标物A与相机的中心L距离为固定值，则可以将(Z_A-Z_L)视为一固定数值，则可改写数学式(6)成以下数学式(7)。

于数学式(7)中，变量u＝X_A-X_L，变量v＝Y_A-Y_L，变量变量变量变量变量变量变量变量

此数学式(7)即为本实施例所称的转换关系式。由数学式(7)可知，变量u及变量v分别为目标物A在目标物空间坐标系60的X轴及Y轴的坐标值，故可事先求得。由此可知，变量a1、变量a2、变量a3、变量a4、变量a5、变量b1、变量b2及变量b3共8个变量，此8个变量即为欲求得知系数内容。一个已知特征信息114会产生一组数学式(7)，故至少需要4个已知特征信息114来求此8个变量，以本实施例而言，本实施例具有9个已知特征信息114，对应的影像特征信息也是9个，故足以对此数学式(7)求解，而求解方式例如是运用最小平方法，然本发明不以此为限。

再回到图1。进行步骤S140，依据转换关系式分析各影像12、24、36的位置关系。

具体而言，就缝合影像装置100来说，处理单元130(如图4所示)依据转换关系式，以分析各影像撷取单元120的位置关系，换言之，本实施例通过转换关系式，进而可以建立各影像撷取单元120之间的对应关系。

如图3所示，图3为本发明的影像缝合方法的进一步的流程图。步骤S140包含步骤S142～S144。

首先，进行步骤S142，建立各影像外的多个虚拟点特征信息。

具体而言，如图6所示，影像12中多个影像特征信息12a～12c可事先通过步骤S124，建立影像12内影像特征信息12a～12c的位置关系，而能推知影像特征信息12a～12c邻近影像特征信息的位置关系，进一步地，即便第一影像撷取单元122所撷取的视野范围只在影像12，亦可推算影像12外的多个虚拟点特征信息14a、16a，进而扩张建立如图6所示邻近影像12的虚拟影像14、16，而能扩大拍摄视野范围，此虚拟影像14、16分别对应第二影像撷取单元124、第三影像撷取单元126所撷取的影像24、36。

于此同理，第二影像撷取单元124所撷取影像24能进一步推算影像24的左右两侧的虚拟影像22、26，此虚拟影像22、26别对应第一影像撷取单元122、第三影像撷取单元126所撷取的影像12、36。第三影像撷取单元126所撷取影像36能进一步推算影像36外的虚拟影像32、34，此虚拟影像32、34分别对应第一影像撷取单元122、第二影像撷取单元124所撷取的影像12、24。

由此可知，本实施例的影像撷取单元120不需要事先取得校正单元110的全部影像，只需要撷取如第一校正装置112a的某一区间的影像12即可，便可推断出邻近如第一校正装置112a的虚拟影像14、16，进而模拟出校正单元110的全部影像。此外，如图4而言，校正单元110的尺寸虽未完全覆盖到待检测对象50，此时亦可通过上述方式将拍摄视野虚拟建构至待检测对象50的全部范围，也因此，本实施例的校正单元110与影像撷取单元120间无需刻意调整或摆放固定的位置，故不需对于影像撷取单元120拍摄位置、水平歪斜的参数来进行调整，更不需要对于多个影像撷取单元120之间彼此相互进行校正的动作，藉以节省前置影像处理的时间。

接着进行步骤S144，利用多个影像特征信息以及多个虚拟点特征信息，经由转换关系式，比对相邻影像间的位置关系。

举例而言，如图6所示，经由步骤S142后，可以推知影像12与其相邻的虚拟影像14、16，影像24与其相邻的虚拟影像22、26，以及影像36与其相邻的虚拟影像32、34。而后，将影像12与其对应的虚拟影像22再利用前述图7中影像投影关系建立如数学式(7)的转换关系式，而相关推导流程已如前述。于此同理，虚拟影像14与其对应的影像24，以及虚拟影像16与其对应的影像26亦可建立如数学式(7)的转换关系式，如此一来，便能够建立第一影像撷取单元122与第二影像撷取单元124之间的位置对应关系。当然，第一影像撷取单元122与第三影像撷取单元126亦可建立两者之间的位置对应关系。

因此，第一影像撷取单元122、第二影像撷取单元124以及第三影像撷取单元126所撷取的影像12、24、36便可以得知相互的位置关系，举例而言，若以影像12的影像特征信息12a作为基准点，除了可以推知影像12内其他影像特征信息12b、12c的位置以外，还可以进一步得知影像24内的影像特征信息24a～24c相对于影像特征信息12a～12c的位置关系，以及影像36内的影像特征信息36a相对于影像特征信息12a～12c的位置关系，而可以建立影像12、影像24以及影像36的位置关系，也就是建立各影像撷取单元120之间的转换关系。

再回到图1，依据转换关系式建立各影像撷取单元120之间的转换关系后，进行步骤S150，组合多个影像12、24、36。换言之，将第一影像撷取单元122、第二影像撷取单元124以及第三影像撷取单元126所撷取的影像12、24、36组合在一起。

经由步骤S150组合第一影像撷取单元122、第二影像撷取单元124以及第三影像撷取单元126所撷取的影像12、24、36后，进行步骤S160，检测待检测对象50。

于实际一应用例，如图8A至图8C所示，图8A中显示实际使用三台相机拍摄的结果，从图8A可看出三台相机拍摄后的三张影像中的标尺并未对齐，亦即三张影像中标尺并未位于相同的水平线上，并且，中间影像与右侧影像间的影像甚至没有重叠。然而，通过本发明的影像缝合装置100，或者应用本发明的影像缝合方法S100步骤后，即可得到图8B所示的缝合影像结果，由该图中可看出三张影像中的标尺已合成为一直线，进一步地，如图8C所示，图8C为图8B中的局部放大图，区域E为左侧影像与中间影像两者的交接区，由该图中可看出区域E中的数字6以及数字18重合的精度高。

综上所述，在本发明的影像缝合方法与影像缝合装置中，对于校正单元中各个校正装置上已知特征信息进行拍摄，进而建立校正装置与影像的对应转换关系式，接着，通过此转换关系式，亦可建立各个影像撷取单元之间的对应位置关系，进而依据此影像对应位置关系而将各个影像进行组合，以达到高精密的影像缝合的目的。

再者，影像撷取单元不需要事先取得校正单元的全部影像，由于校正单元内的已知特征信息的位置是事先知道的，故只需要撷取校正单元的某一区间的影像即可，便可推断出邻近校正单元的虚拟影像，进而模拟出校正单元的全部影像，此举不仅使得影像缝合上不需要将各影像重叠，并能达到扩大检测影像视野的目的，进而能节省使用影像撷取单元设置的成本。

此外，校正单元与影像撷取单元之间无需刻意调整或者摆放固定的位置，也无需事先对于影像撷取单元的拍摄位置、水平歪斜的参数来进行调整，更不需要对于多个影像撷取单元之间彼此相互进行校正的动作，藉以节省前置影像处理的时间。

另外，也因为上述影像撷取单元无需刻意调整或摆放固定的位置，因此可以依据使用者需求，拼凑成符合实际需求的解析与影像视野范围，例如环形、L形、十字形等特殊阵列的影像撷取单元，使得影像撷取单元不受到架设角度的影响及干扰、以及固定解析与尺寸上的限制，进一步地，于使用上可以同时支援不同像素、不同解析度的影像撷取单元，藉以提升使用上灵活性及便利性。

于实际原料检测上，是在酱料及馅料等原料铺设一校正单元，而对此校正单元进行拍摄，由于是对具有已知特征信息的校正单元进行拍摄，而此已知特征信息是明显且已知彼此之间的位置关系，故能轻易地萃取影像的特征信息，因此不会受到酱料及馅料等特征不明显的原料的限制，藉以提升拍摄上的精密度，达到高精密的影像缝合，进而提升视觉检测系统的能力。

此外，于一应用例中，针对一标尺来做拍摄，并运用本发明的影像缝合装置或者进行影像缝合方法的步骤后，所得出的缝合影像结果重合的精度高，足以佐证本发明的影像缝合装置及方法能达到高精密的影像缝合的功效。

以上所述，仅是记载本发明为呈现解决问题所采用的技术手段的较佳实施方式或实施例而已，并非用来限定本发明专利实施的范围。即凡与本发明的权利要求的文义相符，或依本发明专利范围所做的均等变化与修饰，皆为本发明专利范围所涵盖。