影像辨识装置、影像辨识方法及其计算机程序产品

摘要

一种影像辨识方法、影像辨识装置及其计算机程序产品。该影像辨识方法包括：接收多张检测点影像，并将各检测点影像分类为多个群组；将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据；将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据包括一训练集数据及一测试集数据；依据该训练集数据以训练一人工智能模型；以及将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价。本发明可整合人工智能及自动光学检测的技术以辅助在生产线上的作业人员对生产的待测物进行判断，可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。

说明书

技术领域

本发明涉及自动光学检测，特别涉及一种影像辨识装置、影像辨识方法及其计算机程序产品。

背景技术

自动光学检测(Automated Optical Inspection，AOI)是工业制程中常见的代表性手法，例如可用于检查印刷电路板(printed circuit board，PCB)、平面显示器(flatdisplay panel)、半导体装置、电子产品、光学装置、机械机构、模具等等的待测物品。举例来说，自动光学检测系统可利用光学仪器取得成品的表面状态，再以计算机影像处理技术来检出异物或图案异常等瑕疵，因为是非接触式检查，所以可在生产线的中间节点来检查半成品，例如空白PCB(bare PCB)以及组装完成的PCB均为中间节点。

自动光学检测系统可用于待测物品的制造或组装过程中以检查待测物品或半成品的不同特征，例如但不限于：导体(例如电线)的完整性(例如断裂、连续性、破裂)及尺寸、绝缘体或基板的尺寸及位置、孔洞(hole)的尺寸及位置、通孔(via)的尺寸及位置、导体间距、线宽和长度、焊锡状况、元件位置、焊点缺陷等等。

然而，传统的自动光学检测系统均会设定相当严格的判断条件以剔除不合格的产品，但是在上述过程中会得到许多质量合格但是被自动光学检测系统判断为有缺陷的产品，且在工厂端大量制造产品时，并无有效的方法可以一一检测被误判为有缺陷的产品。

发明内容

有鉴于此，需要一种用于自动光学检测的影像辨识装置、影像辨识方法及其计算机程序产品以解决上述问题。

本发明实施例提供一种计算机程序产品，用以被一机器载入且执行一影像辨识方法，该计算机程序产品包括：一影像标记模块，用以接收多张检测点影像，并将该等检测点影像分类为多个群组；一影像归类模块，用以将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据；一影像生成模块，用以将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据包括一训练集数据及一测试集数据；一模型训练模块，用以依据该训练集数据以训练一人工智能模型；以及一模型评价模块，用以将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价。

在一些实施例中，该计算机程序产品还包括一影像切割模块，用以接收来自一自动光学检测装置所拍摄的一待测物的一物件影像，并将该物件影像切割为对应于该待测物的多个检测点的该等检测点影像。该影像切割模块在该物件影像上设定一搜索范围，并在该搜索范围内设定一或多个标记范围，并在各标记范围内设定不同检测点的相对位置。该影像切割模块在该搜索范围内寻找该一或多个标记范围，并依据各检测点与相应的该标记范围的相对位置以从该物件影像切割出相应于各检测点的检测点影像。

在另一些实施例中，该等检测点影像来自一自动光学检测装置，且该等检测点影像对应于该自动光学检测装置所拍摄的一待测物的多个检测点。

在一些实施例中，该影像标记模块所标记的各群组对应于该待测物中的该等检测点的多个缺陷状态及一检测通过状态的其中一者。

在一些实施例中，该影像归类模块依据在各群组中的该等检测点影像的相似度将各群组的该等检测点影像分类为该等类别以产生该第一结构化数据。此外，响应于各群组的各检测点影像与一特定类别的一或多张参考影像的该相似度高于一相似度阈值，该影像归类模块将在各群组中该相似度高于该相似度阈值的该等检测点影像分类为该特定类别。

在一些实施例中，该第一结构化数据中的各群组的各类别均记录相应的该等检测点影像的编号，其被该影像归类模块输出为一归类文件。该影像生成模块所生成的该第二结构化数据中的各群组的该等检测点影像均具有第一数量，且各群组中的各类别的该等检测点影像的第二数量为该第一数量除以各群组中的该等类别的数量。

在一些实施例中，该影像生成模块设定一或多个影像参数的每一者的数值变化范围，且该影像生成模块从各影像参数的数值变化范围随机生成各影像参数以对该等检测点影像进行影像处理以产生多张模拟检测点影像。此外，在该等群组中的一第一群组该等检测点影像的数量及该等模拟检测点影像的数量的总和等于一第一数量，且该等群组中的其他各群组中的该等检测点影像的数量加上该等模拟检测点影像的数量的总和等于该第一数量。在每一群组中的各类别的该等检测点影像的数量及该等模拟检测点影像的数量的总和等于该第一数量除以每一群组的该等类别的数量。

在一些实施例中，该模型训练模块依据一预定比例将该第二结构化数据划分为该训练集数据及该测试集数据。此外，该人工智能模型包括一输入层、一迁移模型、一分类层、及一输出层，且该模型训练模块定义该迁移模型的训练过程的多个策略参数，其中该等策略参数包括优化器种类、学习率、回合数、批次尺寸。

在一些实施例中，该模型评价模块还判断整体辨识率或信心度较差的一或多个第一类别，并过滤出在该第二结构化数据中标示错误或多重标记的该等检测点影像。该模型评价模块还执行一第一数据清理程序以将在该第二结构化数据中标示错误的该等检测点影像从该训练集数据删除以更新该第二结构化数据。

在一些实施例中，该模型评价模块还执行一第二数据清理程序以过滤出在该第二结构化数据中有多重标记的一或多个第一检测点影像，并将该一或多个第一检测点影像在该训练集数据对应的该等检测点影像删除以更新该第二结构化数据。此外，该模型训练模块还依据更新后的该第二结构化数据重新训练该人工智能模型。

本发明实施例还提供一种影像辨识方法，包括：接收多张检测点影像，并将该等检测点影像分类为多个群组；将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据；将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据包括一训练集数据及一测试集数据；依据该训练集数据以训练一人工智能模型；以及将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价。

本发明实施例还提供一种用于自动光学检测的影像辨识装置，包括：一非易失性存储器，用以储存一人工智能影像检测程序；以及一处理器，用以执行该人工智能影像检测程序以进行下列步骤：接收多张检测点影像，并将该等检测点影像分类为多个群组；将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据；将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据包括一训练集数据及一测试集数据；依据该训练集数据以训练一人工智能模型；以及将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价。

本发明实施例所提供的影像辨识装置、影像辨识方法及其计算机程序产品，可整合人工智能及自动光学检测的技术以辅助在生产线上的作业人员对生产的待测物进行判断，且可通过标准化的流程即可有效地训练人工智能模型进行深度学习，且可由人工智能模型自行判断待测物的检测点影像的状态。此外，经由模型评价的过程，可适度地过滤出标记错误或多重标记的训练集数据，并据以更新训练集数据并且重新训练人工智能模型以增进人工智能模型的辨识率及信心度。因此，可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。

附图说明

图1显示依据本发明一实施例中的自动光学检测系统的示意图。

图2显示依据本发明一实施例中的影像辨识装置的框图。

图3显示依据本发明一实施例中的第一结构化数据的示意图。

图4为依据本发明一实施例的用于自动光学检测的影像辨识方法的流程图。

主要组件符号说明：

10 自动光学检测系统

12 自动输送装置

14 自动光学检测装置

16 影像检测装置

18 影像辨识装置

20 待测物

30 箭头

122 机壳

124 驱动机构

126 控制器

128 检测定位点

142 影像感测器

144 照明装置

180 人工智能影像检测程序

181 处理器

182 存储器单元

183 储存装置

1801 影像切割模块

1802 影像标记模块

1803 影像归类模块

1804 影像生成模块

1805 模型训练模块

1806 模型评价模块

S410～S450 步骤

具体实施方式

以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考所附的权利要求范围。

必须了解的是，使用于本说明书中的"包含"、"包括"等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。

在权利要求中使用如"第一"、"第二"、"第三"等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。

图1显示依据本发明一实施例中的自动光学检测系统的示意图。

如图1所示，自动光学检测系统10包括一自动输送装置12、一自动光学检测装置14、一影像检测装置16以及一影像辨识装置18。自动输送装置12例如包括一机壳122及一驱动机构124。驱动机构124设置于机壳122的上方，用以将一或多个待测物20(device undertest)依序输送至机壳122上的一检测定位点128，使得自动光学检测装置14可对待测物20拍照或执行光学检测程序以得到一或多张物件影像。驱动机构124例如可用输送带或是机器手臂所实现，且驱动机构124输送待测物20的方向(如箭头30所示)由控制器126所控制。控制器126例如可用一微控制器(controller)、一可编程逻辑控制器(programmable logiccontroller，PLC)或是一个人计算机所实现，但本发明并不限于此。

自动光学检测装置14包括一或多个影像感测器142及一或多个照明装置144，其中照明装置144用以提供光线至检测定位点128上的待测物20，以使影像感测器142对检测定位点128上的待测物20拍照以得到物件影像。照明装置144例如可用发光二极管(LED)或不同类型的光源所实现，且影像感测器142例如可由电荷耦合装置(charge-coupled device，CCD)感测器或互补式金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)感测器所实现，但本发明并不限于此。此外，在自动光学检测装置14中的一或多个影像感测器142的整体的拍照视野(field of view)可涵盖在检测定位点128上的待测物20。

影像检测装置16例如可为一个人计算机或服务器所实现。在一实施例中，影像检测装置16用以从影像感测器142取得待测物的物件影像，并且对物件影像进行影像前处理(image pre-processing)，并且对处理后的物件影像进行光学影像辨识，借以判断待测物中的一或多个检测点是否有缺陷(defect)。

举例来说，上述影像前处理包括但不限于去除噪声、加强影像对比、加强影像边缘、撷取影像特征、影像缩放/旋转、影像对齐/校正、影像转换等等。可利用相关的影像前处理技术对物件影像进行处理，且经过处理后的物件影像更易于进行后续的影像分析及影像辨识。在一些实施例中，影像检测装置16可省略，且上述影像前处理例如可由影像辨识装置18所执行。在另一些实施例中，影像检测装置16可整合至影像辨识装置18。

在第一实施例中，影像检测装置16用以从影像感测器142取得待测物的物件影像，并且对物件影像中之进行影像前处理(image pre-processing)。此时，影像检测装置16将处理后的物件影像(例如可称为AOI物件影像)传送至影像辨识装置18以进行后续处理。

在第二实施例中，影像检测装置16可执行机器视觉软件(machine-visionsoftware)将处理后的物件影像切割为一或多个检测点影像，并对各检测点影像进行影像辨识，其中上述机器视觉软件可预先对待测物的物件影像中的各检测点影像设定相应的影像辨识条件以辨识出各个检测点的缺陷状态。以印刷电路板(PCB)为例，各检测点的缺陷状态可包括：缺件(missing component)、偏斜(skew)、墓碑(tombstone)、错件(wrongcomponent)、多件(foreign component)、翻件(flipped component)、极性反(wrongpolarity)、脚翘(lifted lead)、脚变形(lead defective)、锡桥(solder bridge)、少锡(insufficient solder)、短路(short circuit)、假焊(空焊)、冷焊等等，但本发明实施例并不限于此。针对不同类型的待测物设定相应的影像辨识条件。接着，影像检测装置16将辨识出有缺陷状态的检测点影像传送至影像辨识装置18以进行后续处理。在一些实施例中，影像辨识装置18也可以从其他外部装置取得检测点影像或物件影像、或是通过网络从云端数据库(图1未绘示)取得检测点影像或物件影像，但本发明实施例并不限于此。为了便于说明，在后述实施例中的待测物20以印刷电路板为例进行说明。

图2显示依据本发明一实施例中的影像辨识装置的框图。

影像辨识装置18可由一或多台个人计算机、服务器、或其他类型的运算装置所实现。影像辨识装置18包括一处理器181、一存储器单元182及一储存装置183。处理器181例如可用中央处理器(central processing circuit，CPU)或一般用途处理器(general-purpose processor)所实现，但本发明实施例并不限于此。存储器单元182为一易失性存储器，例如可为静态随机存取存储器(static random access memory，SRAM)或动态随机存取存储器(dynamic random access memory，DRAM)。

储存装置183为一非易失性存储器，例如可为一硬盘机(hard disk drive)、一固态硬盘(solid-state disk)、一快闪存储器(flash memory)、一只读存储器(read-onlymemory)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、电子可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，EEPROM)或电子熔丝(e-fuse)，但本发明实施例并不限于此。

储存装置183储存一人工智能影像检测程序180用以对来自影像检测装置16的处理后的物件影像或辨识出有缺陷状态的检测点影像进行对应的处理。举例来说，人工智能影像检测程序180包括一影像切割模块1801、一影像标记模块1802、一影像归类模块1803、一影像生成模块1804、一模型训练模块1805以及一模型评价模块1806。处理器181将人工智能影像检测程序180从储存装置183读取至存储器单元182并执行，借以控制并协调各模块1801～1806相应的功能。

影像切割模块1801用以对来自影像检测装置16的AOI物件影像进行裁切以得到在待测物的各检测点相应的检测点影像。需注意的是，因为在第二实施例中，影像检测装置16将辨识出有通过状态或缺陷状态的检测点影像传送至影像辨识装置18，故上述检测点影像不需再经过影像切割模块1801进行处理，故影像切割模块1801适用于第一实施例的情况。

在一些实施例中，在影像检测装置16将AOI物件影像传送至影像辨识装置18后，影像切割模块1801先载入AOI物件影像，并且通过影像切割模块1801的使用者界面设定基准点、标记范围、搜索范围、以及检测点的范围及数量，其中每组不同的设定可储存为相应的样板(template)。因为来自影像检测装置16的不同AOI物件影像之间可能会有像素平移的情况，故影像切割模块1801需要在各个标记范围之外设定一较大的搜索范围，在各个标记范围内可以设定不同的检测点的相对位置。此外，标记范围可视为一定位点或定位范围。当同一个待测物20的AOI物件影像输入至影像切割模块1801时，可在目前使用的样板的预定搜索范围寻找定位点(即标记范围)，并依据各个检测点与标记范围的相对位置从AOI物件影像切割出相应于各个检测点的检测点影像，其中各检测点影像的文件名称可包含其待测物名称、时间、位置、编号等等。

影像标记模块1802用以从影像切割模块1801或影像检测装置16取得各检测点相应的检测点影像，其中上述检测点影像尚未进行标记或分类。举例来说，影像标记模块1802可批次载入各检测点影像，例如8张检测点影像(非限定)为一批次。在一些实施例中，作业人员可针对每个批次中的各检测点影像进行标记，影像标记模块1802产生一使用者界面显示各检测点影像，并获取每个检测点影像对应的标记，其中上述标记可包括通过状态(pass)、以及缺陷状态(例如NG1、NG2、NG3、…、NGN等等)。在另一些实施例中，影像标记模块1802可包含影像辨识的功能，其用以对各检测点影像进行影像辨识以判断出各检测点影像的状态，例如为通过或是缺陷状态。以印刷电路板(PCB)为例，各检测点的缺陷状态可包括：缺件(missing component)、偏斜(skew)、墓碑(tombstone)、错件(wrong component)、多件(foreign component)、翻件(flipped component)、极性反(wrong polarity)、脚翘(lifted lead)、脚变形(lead defective)、锡桥(solder bridge)、少锡(insufficientsolder)、短路(short circuit)、假焊(空焊)、冷焊等等，但本发明实施例并不限于此。

因此，在经过影像标记模块1802对各检测点影像进行标记后，可得到不同群组的检测点影像，例如通过(pass)、以及各缺陷状态NG1、NG2、NG3、…、NGN等等均可视为不同群组，且影像标记模块1802将不同群组的检测点影像储存至不同的子目录下。

影像归类模块1803用以让作业人员对影像标记模块1802标记后的各群组中的检测点影像进行归类(classification)，影像归类模块1803例如可将内容或属性的相似度高的多张检测点影像分类在同一类别。在另一实施例中，影像归类模块1803设定相似度阈值，并产生另一使用者界面显示各群组中的检测点影像。举例来说，影像归类模块1803可设定一相似度阈值，影像归类模块1803计算各群组中各检测点影像对应至少其中一类别的相似度，并通过使用者界面显示在各群组中相似度高于相似度阈值的检测点影像。详细来说，使用者可预先于通过(pass)的群组中将至少一张检测点影像(例如可称为参考影像)分类为对应类别，影像归类模块1803分类各群组中的检测点影像时，计算预先分类的检测点影像与各群组中尚未分类的检测点影像之间的相似度，筛选出高于相似度阈值的检测点影像后，显示于使用者界面，并进行归类。其他群组可用类似的方式以将尚未分类的检测点影像进行归类。

举例来说，电阻和电阻之间具有较高的相似度，但电阻与电容之间则具有较低的相似度。因应于各群组中的各检测点影像的相似度高于相似度阈值，影像归类模块1803将在各群组中相似度高于相似度阈值的各检测点影像分类为同一类别。经由上述处理后，可获取每一检测点影像对应的类别。若影像标记模块1802标记后的多个群组可分为通过(PASS)、缺陷1(NG1)、缺陷2(NG2)及缺陷3(NG3)共四个群组，影像归类模块1803可将上述四个群组中的各检测点影像进一步归类为多个类别(type)，例如依据不同元件的相似度做为归类标准，并将相同种类或类似的元件分类至同一类别。举例来说，影像归类模块1803将PASS群组中的电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。类似地，影像归类模块1803亦可将NG1群组、NG2群组及NG3群组中的电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。

当上述影像归类操作完成后，影像归类模块1803可得到群组－类别的结构化数据(例如第一结构化数据)，且各群组的各类别均包括对应的检测点编号，例如PASS-Type1群组类别包括检测点1、3、5，PASS-Type2群组类别包括检测点2，PASS-Type3群组类别包括检测点4、6等等。此外，在NG1群组、NG2群组及NG3群组亦可用类似的方式将电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type2)及类别3(Type 3)。

归类完成的结构化数据(例如第一结构化数据)如图3所示，影像归类模块1803并可将归类完成的结构化数据的相关信息(例如包括检测点影像的编号)及相应的检测点影像输出为一归类文件，并将归类文件写入至储存装置183，例如各群组为主目录，在各群组中的各类别为次目录，各次目录包括了归类完成后的检测点影像及其编号。此外，影像归类模块1803所产生的归类文件可供影像辨识装置18进行后续使用。使用者例如可通过影像归类模块1803的使用者界面以读取先前所储存的归类文件，故影像归类模块1803可利用读取的归类文件的结构化数据的相关信息以分类由影像切割模块1801所产生的检测点影像或由影像检测装置16所接收的检测点影像。

需注意的是，在上述实施例中，不一定每种缺陷状态均会包含全部的类别。举例来说，若NG1群组表示在印刷电路板上的元件为极性反，且NG1-Type1群组类别表示电容焊反，但是电阻并没有极性反的问题，所以NG1群组里面并不包含Type2类别，如图3所示。

影像生成模块1804用以对影像归类模块1803所产生的一或多个群组类别进行影像生成，以解决某些群组类别的检测点影像的样本数不平均的问题。对于待测物20的各检测点影像经由上述流程所产生的群组类别的归类结果来说，在各群组类别中的检测点影像的数量并不一定为平均。

举例来说，对于模型训练模块1805中的人工智能模型而言，其在训练阶段时需要大量数据及样本数。若模型训练模块1805直接依据影像归类模块1803所产生群组类别的归类结果(即第一结构化数据)对人工智能模型进行训练，则可能造成人工智能模型的辨识率不佳、出现误判或信心度(confidence)不足的情况。

因此，影像生成模块1804可针对影像归类模块1803所产生的一或多个群组类别进行影像生成，使得各个群组类别中的检测点影像的数量平均。影像生成模块1804例如可通过使用者界面让使用者预先设定影像生成的各种影像参数的范围，其中上述影像参数可包括但不限于检测点影像的红色/绿色/蓝色像素的亮度、对比及伽玛(gamma)值、旋转角度、X方向/Y方向的平移像素值、锐利化、模糊度、缩放比率等等。在一实施例中，旋转角度的范围可设定在-10度至+10度，像素X平移的范围可设定在-10像素至+10像素，像素Y平移的范围可设定在-10像素至+10像素。其他未更动的影像参数则可使用影像生成模块1804的预设值。

举例来说，影像生成模块1804可读取影像归类模块1803所产生的一或多个群组－类别结构化数据(例如第一结构化数据)，并统计在各群组类别中的检测点影像的数量。为了让模型训练模块1805中的人工智能模型可达到较佳的训练效果及模型评价，在各个群组类别中的影像数量愈多且平均为佳。使用者例如可通过影像生成模块1804产生的使用者界面预先设定要将所选择的群组类别的检测点影像的数量增加X张或是增加至Y张，使得在同一群组中的不同类别的检测点影像的数量平均，并产生第二结构化数据。

详细而言，影像归类模块1803所产生的一或多个群组－类别结构化数据(第一结构化数据)的各群组类别的检测点影像例如可称为原始检测点影像，且经由影像生成模块1804套用上述各影像参数的范围随机生成的检测点影像则称为模拟检测点影像。举例来说，若PASS群组中的Type1、Type2及Type3原本分别有500、250、1000张原始检测点影像，且影像生成模块1804设定的目标影像数量为1000张(X＝1000，即增加至1000张)，经过影像生成模块1804对PASS群组中的Type1、Type2及Type3类别进行处理后，在PASS群组中的Type1、Type2及Type3类别中的影像数量均改变为1000张，其中在PASS-Type1群组类别包含500张原始检测点影像及500张模拟检测点影像，在PASS-Type2群组类别包含250张原始检测点影像及750张模拟检测点影像，在PASS-Type3群组类别包含1000张原始检测点影像及0张模拟检测点影像。意即，经过影像生成模块1804处理之后，在PASS群组中的各个类别的影像数量均会平衡。此时，PASS群组中会具有3000张检测点影像。因此，若在多个群组中的第一群组(例如PASS群组)的检测点影像的数量及模拟检测点影像的数量的总和等于一第一数量(例如3000张)，则在该等群组中的其他各群组(例如NG1～NG3群组)中的检测点影像的数量及模拟检测点影像的数量的总和同样等于第一数量。

类似地，影像生成模块1804亦对NG1、NG2及NG3群组进行相应的影像生成处理，意即在经过影像生成模块1804处理之后，在NG1、NG2及NG3群组均会具有3000张检测点影像。若NG1群组仅包含Type1及Type3类别，则NG1-Type1及NG1-Type3群组类别均包含1500张检测点影像。类似地，NG3群组仅包含Type1及Type2类别，则NG3-Type1及NG3-Type2群组类别均包含1500张检测点影像。此外，因为NG2群组包含Type1～Type3类别，所以在经过影像生成模块1804处理之后，NG2群组中的各个类别Type1～Type3均会包含1000张检测点影像。在一些实施例中，影像生成模块1804例如可将各个群组类别中经由影像生成的模拟检测点影像另存于其他子数据夹以与原始检测点影像区别。换言之，在每一群组中的各类别的该等检测点影像的数量及该等模拟检测点影像的数量的总和等于第一数量(例如3000张)除以每一群组的该等类别的数量(例如NG1群组包括2个类别，NG2群组包括3个类别)。

模型训练模块1805用以让一人工智能模型依据一训练集数据以进行模型训练。举例来说，人工智能模型在训练阶段所使用的训练集数据与测试集数据应不同，这样人工智能模型才较不易在判断结果时产生过适(overfitting)的情况。在一实施例中，影像生成模块1804所产生的第二结构化数据可分为训练集(training set)数据及测试集(testingset)数据，且分别存放于不同目录。模型训练模块1805可指定读取上述训练集数据相应的目录以做为训练数据的来源。在另一实施例中，影像生成模块1804所产生的第二结构化数据并不特别区分出训练集数据及测试集数据，且模型训练模块1805可选择第二结构化数据的目录，并且可依据预先设定的训练集数据的分配比例将上述第二结构化数据中的各群组类别中的检测点影像(包含原始检测点影像及模拟检测点影像)划分为训练集数据及测试集数据。举例来说，若训练集数据的分配比例为0.3，则模型训练模块1805将第二结构化数据中的各群组类别中的30％数量的检测点影像做为训练集数据，其余的70％数量的检测点影像则做为测试集数据。

在此实施例中，模型训练模块1805采用迁移学习(transfer learning)技术以建立人工智能模型，其中人工智能模型例如可包括输入层、迁移模型、分类层及输出层，且使用者可通过人工智能影像检测程序180的使用者界面设定输入层、迁移模型、分类层及输出层的相关参数，以及设定人工智能模型在训练阶段的策略参数，例如包括优化器(optimizer)、学习率(learning rate)、回合数(epochs)、及批次尺寸(batch size)。

对于输入层来说，使用者可依据实际欲处理的检测点影像的尺寸以设定输入层的输入影像尺寸。当实际的检测点影像的尺寸与设定的输入影像的尺寸不同时，模型训练模块1805可对输入的检测点影像进行内插计算以将其缩放为所设定的输入影像的尺寸。

模型训练模块1805提供多种开源的迁移模型可供选择使用，例如MobileNet、ResNet等等。使用者可选择是否要开启部分层数的迁移模型的权重参数以重新进行训练、以及是否开启平坦化(flatten)以保留所有信息功能。人工智能模型的分类层由“全连接层”所构成，使用者可自行决定要架构多少层数、每层中的神经元数量、以及每层是否引入丢弃(dropout)功能等等。对于人工智能模型的输出层而言，模型训练模块1805可依据输入数据(例如：第二结构化数据)的数据结构以自动读取输入数据第一层的数据夹文件名作为分类标记，借以自动建立输出层。

模型评价模块1806用以评价由模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的测试集数据的效能表现，意即可将测试集数据输入至已训练完成的人工智能模型以得到人工智能模型的模型评价。此外，模型评价模块1806还可利用模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的训练集数据进行数据清理。

举例来说，在人工智能模型的评价阶段时，模型评价模块1806将在测试集数据中的每张检测点影像输入至人工智能模型产生相应的辨识结果及信心度。接着，模型评价模块1806将测试集数据中的每张检测点影像的辨识结果对照各检测点影像已标示的类别，即可得到人工智能模型的模型评价(例如正确率＝正确辨识结果数量/测试集的检测点影像数量)。经由计算所得到的模型评价，可找出整体辨识率或信心度较差的群组类别。

在一实施例中，若模型评价模块1806将测试集数据中的每张检测点影像的辨识结果经过测试集的各检测点影像已标示的群组进行比对后，在测试集数据中有部分检测点影像辨识结果是错误的，但具有很高的信心度，则可判断这些辨识结果对应的检测点影像可能有标记错误的情况。因此，模型评价模块1806可执行第一数据清理程序以过滤出这些可能标记错误的检测点影像及辨识结果，并将这些检测点影像从训练集数据中删除。

若模型评价模块1806将测试集中的每张检测点影像的辨识结果经过测试集的各检测点影像已标示的群组进行比对后，在测试集数据之中有部分检测点影像辨识结果是正确的，但是信心度不高(例如低于一阈值，上述阈值可为但不限定于50％)，表示在测试集数据中相应的检测点影像可能有多重标记的情况，意即同一张检测点影像可能被标记为不同的群组类别，所以会造成人工智能模型的辨识结果的信心度偏低。因此，模型评价模块1806可执行第二数据清理程序以过滤出在测试集数据之中这些信心度偏低的检测点影像，并将这些检测点影像在训练集数据之中对应的检测点影像删除。

当模型评价模块1806执行第一数据清理程序及第二数据清理程序并更新训练集数据后，人工智能影像检测程序180可再执行影像标示模块1802，借以逐一检查过滤出的检测点影像并重新进行标示。若有特定检测点影像会造成人工智能模型在不同群组类别的误判，则此特定检测点影像不再重新标示并放回训练集数据之中，故影像标示模块1802可删除此特定检测点影像。此外，人工智能影像检测程序180可再执行影像生成模块1804，进一步检视辨识率和/或信心度较低的群组类别的检测点影像的数量，再针对这些群组类别生成合适的模拟检测点影像以更新第二结构化数据。因此，当第二结构化数据更新后，模型训练模块1805即可从更新后的第二结构化数据分割出新的训练集数据以对人工智能模型重新进行训练，借以提升人工智能模型的辨识率及辨识结果的信心度。

图4为依据本发明一实施例的用于自动光学检测的影像辨识方法的流程图。请同时参考图2及图4。

在步骤S410，接收多张检测点影像，并将各检测点影像分类为多个群组。举例来说，该等检测点影像的来源可以是来自自动光学检测装置14的检测点影像，意即自动光学检测装置14已先将待测物的物件影像分割为待测物的各检测点的检测点影像后，再将分割后得到的检测点影像传送至影像辨识装置18。该等检测点影像的来源亦可以是来自自动光学检测装置14的待测物的物件影像。因此，影像辨识装置18中的影像切割模块1801可将上述物件影像分割为对应于待测物的各检测点的检测点影像。此外，影像标记模块1802可将各检测点影像加上一群组标记并分类为多个群组(Group)，例如前述实施例中的检测通过(PASS)状态、缺陷状态(NG1、NG2、NG3)。需注意的是，当影像标记模块1802标记该等群组时，暂时不考虑在待测物上的不同元件种类。

在步骤S420，将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据。举例来说，影像归类模块1803依据该等检测点影像的相似度将各群组中的检测点影像分类为一或多个类别以产生第一结构化数据。

在步骤S430，将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据包括一训练集数据及一测试集数据。举例来说，影像归类模块1803所产生的一或多个群组－类别结构化数据(第一结构化数据)的各群组类别的检测点影像例如可称为原始检测点影像，且经由影像生成模块1804套用不同影像参数范围随机生成的检测点影像则可称为模拟检测点影像，其中第一结构化数据经由影像生成模块1804处理之后，在第二结构化数据的同一群组中的不同类别的原始检测点影像及模拟检测点影像的总数量会相同。

在步骤S440，依据该训练集数据以训练一人工智能模型。举例来说，人工智能模型包括一输入层、一迁移模型、一分类层、及一输出层，且该模型训练模块定义该迁移模型的训练过程的多个策略参数，其中该等策略参数包括优化器种类、学习率、回合数(epoch)、批次尺寸(batch size)。

在步骤S450，将该测试集数据输入至该人工智能模型以得到在该人工智能模型的一模型评价。举例来说，在人工智能模型的评价阶段时，模型评价模块1806将在测试集中的每张检测点影像输入至人工智能模型产生相应的辨识结果及信心度。接着，模型评价模块1806将测试集数据中的每张检测点影像的辨识结果对照各检测点影像已标示的类别，即可得到人工智能模型的模型评价(例如正确率＝正确辨识结果数量/测试集的检测点影像数量)。经由计算所得到的模型评价，可找出整体辨识率或信心度较差的群组类别。

综上所述，本发明实施例提供一种影像辨识装置、影像辨识方法及其计算机程序产品，其可整合人工智能及自动光学检测的技术以辅助在生产线上的作业人员对生产的待测物进行判断，且可通过标准化的流程即可有效地训练人工智能模型进行深度学习，且可由人工智能模型自行判断待测物的检测点影像的状态。此外，经由模型评价的过程，可适度地过滤出标记错误或多重标记的训练集数据，并据以更新训练集数据并且重新训练人工智能模型以增进人工智能模型的辨识率及信心度。因此，可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。

本发明虽以较佳实施例公开如上，然而其并非用以限定本发明的范围，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围的情况下，应当可做些许的更动与润饰，因此本发明的保护范围应当视所附的权利要求书所界定者为准。