技术领域
本公开涉及工件检查系统，并且更具体地涉及用于检查工件并且检测缺 陷的精密机器视觉系统。
背景技术
可利用诸如机器视觉检查系统(或简称“视觉系统”)的精密非接触式工 件检查系统来获得工件的图像以进行检查。此类系统可用于各种类型的应用 (例如，一般工件检查、用于确定工件的精确尺寸测量结果的量测应用等)。 此类系统通常包括计算机、相机和光学系统。在某些配置中，可包括移动机 构(例如，精密工作台、输送机等)，其移动以允许工件横动和检查。一个 示例性现有技术的机器视觉检查系统是可从位于伊利诺伊州奥罗拉的 Mitutoyo America Corporation(MAC)购得的QUICK
此类机器视觉检查系统通常面对用于检查工件的各种类型的挑战(例 如，由于正被检查的工件的类型或表面的变化、变化的检查条件等而导致)。 能够对于某些类型的检查操作(例如，用于工件缺陷检测和/或改进缺陷检测 的准确度)提供针对此类问题的改进的系统将是所希望的。
发明内容
本发明内容的提供是为了以简化形式引入下文在具体实施方式中进一 步描述的概念的选择。本发明内容并非旨在标识要求保护的主题的关键特 征，也并非旨在用于辅助确定所要求保护的主题的范围。
提供了一种工件检查和缺陷检测系统，该系统包括光源、透镜、相机、 一个或多个处理器和存储器。透镜输入由被光源照射的工件的表面引起的图 像光，并且沿着成像光路透射该图像光。相机接收沿着成像光路透射的成像 光并且提供工件的图像。
存储器耦合到一个或多个处理器并且存储程序指令，这些程序指令当由 一个或多个处理器执行时使该一个或多个处理器至少：获取多个训练图像， 其中多个训练图像中的至少一些被用于训练缺陷检测部分；从多个训练图像 中确定多个训练图像特征；至少部分地基于所确定的训练图像特征来确定多 个异常检测器分类特性；利用相机来获取工件的第一运行模式图像；从工件 的第一运行模式图像中确定多个特征；并且至少部分地基于从工件的第一运 行模式图像中确定的特征，利用异常检测器分类特性来确定工件的第一运行 模式图像是否将被分类为异常的。
在各种实施方案中，可利用异常检测器分类特性来确定工件的第二运行 模式图像将被分类为非异常的。另外，可利用缺陷检测部分来分析第二运行 模式图像以确定工件的第二运行模式图像是否将被分类为包括工件的缺陷 的缺陷图像。
在各种实施方案中，可依照对异常检测器分类特性的利用将工件的第一 运行模式图像分类为异常的。另外，可至少部分地基于将工件的第一运行模 式图像分类为异常的来生成指示成像条件、照明条件或工件条件中的至少一 个有问题的消息。另外，可关于为什么已将工件的第一运行模式图像分类为 异常的确定原因。此外，可生成指示工件的第一运行模式图像被分类为异常 的原因的消息。在各种实施方案中，在确定第一运行模式图像被分类为异常 的原因之后，可对光源的亮度、或光源的位置、或透镜或透镜元件相对于相机或工件中的至少一个的位置中的至少一个进行调整。
在各种实施方案中，可创建合成数据集，其中多个训练图像特征被更改 以模拟异常图像，而未被更改以模拟非异常图像。另外，可训练两类分类器 以能够区分合成数据集中的异常图像和非异常图像。
在各种实施方案中，可提供一种用于操作工件检查和缺陷检测系统的方 法(例如，一种在配置有可执行指令的一个或多个计算系统的控制下操作的 计算机实现的方法)，该方法包括：利用工件检查和缺陷检测系统的光源、 透镜和相机来获取多个训练图像，其中多个训练图像中的至少一些被用于训 练缺陷检测部分；从训练图像中确定多个训练图像特征；至少部分地基于训 练图像特征来确定多个异常检测器分类特性；获取工件的第一运行模式图 像；从工件的第一运行模式图像中确定多个特征；以及至少部分地基于从工 件的第一运行模式图像中确定的特征，利用异常检测器分类特性来确定工件 的第一运行模式图像是否将被分类为异常的。
在各种实施方案中，可提供一种非暂时性计算机可读介质，该非暂时性 计算机可读介质存储程序指令，这些程序指令当由一个或多个处理器执行时 使该一个或多个处理器至少：利用工件检查和缺陷检测系统的光源、透镜和 相机来获取多个训练图像，其中多个训练图像中的至少一些被用于训练缺陷 检测部分；从多个训练图像中确定多个训练图像特征；至少部分地基于所确 定的训练图像特征来确定多个异常检测器分类特性；获取工件的第一运行模 式图像；从工件的第一运行模式图像中确定多个特征；以及至少部分地基于 从工件的第一运行模式图像中确定的特征，利用异常检测器分类特性来确定 工件的第一运行模式图像是否将被分类为异常的。
附图说明
当结合附图参考以下详细描述时，本发明的前述方面和许多伴随的优点 将变得更容易理解，同时变得更好理解，其中：
图1是示出了通用精密机器视觉检查系统的各种典型的部件的图；
图2是与图1的机器视觉检查系统类似并且包括本文公开的某些特征的 机器视觉检查系统的控制系统部分和视觉部件部分的框图；
图3A-3F是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的不包括缺陷的工件的各部分的图像的实施例。
图4A-4E是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的包括缺陷的工件的各部分的图像的实施例。
图5A-5D是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的具有和没有缺陷的工件的类似部分的图像的实施例。
图6是图示了利用一个或多个视频工具来对包括缺陷的工件的图像执行 量测操作的图。
图7A-7J是如可由与图1的机器视觉检查系统类似的机器视觉检查系统 所获取的具有和没有缺陷并且具有变化亮度水平的工件的类似部分的图像 的实施例。
图8A-8F是如可由与图1的机器视觉检查系统类似的机器视觉检查系统 所获取的具有和没有缺陷并且具有变化聚焦水平的工件的类似部分的图像 的实施例。
图9是根据本公开的图像增强用户界面的实施例。
图10和图11示出了用于操作与图1的机器视觉检查系统类似的机器视 觉检查系统的方法的流程图。
具体实施方式
图1是依照本文描述的方法可用作成像系统的一个示例性机器视觉检查 系统10的框图。机器视觉检查系统10包括可操作地连接以与控制计算机系 统14交换数据和控制信号的视觉检查机器12。控制计算机系统14进一步可 操作地连接以与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标 26交换数据和控制信号。监视器或显示器16可显示适合于对机器视觉检查 系统10的操作进行控制和/或编程的用户界面。应领会，在各种示例性实施 方案中，触摸屏平板和/或类似的装置等可取代和/或冗余地提供元件14、16、 22、24和26中的任一个或全部的功能。
本领域的技术人员应领会，通常可使用包括分布式或联网计算环境等的 任何合适的计算系统或装置来实现本文描述的控制计算机系统14和/或其他 控制系统。此类计算系统或装置可包括执行软件以执行本文描述的功能的一 个或多个通用或专用处理器(例如，非定制或定制装置)。可将软件存储在 诸如以下项的存储器中：随机存取存储器(RAM)、只读存储器(ROM)、 闪速存储器等，或此类部件的组合。还可将软件存储在诸如以下项的一个或 多个存储装置中：基于光学的盘、闪速存储器装置、或用于存储数据的任何 其他类型的非易失性存储介质。软件可包括一个或多个程序模块，这些模块 包括执行特定任务或者实现特定抽象数据类型的例程、程序、对象、部件、 数据结构等。在分布式计算环境中，可跨多个计算系统或装置组合或分发程 序模块的功能性，并且以有线或无线配置经由服务调用访问程序模块的功能 性。
视觉检查机器12包括可移动工件工作台32和光学成像系统34，该光学 成像系统可包括变焦透镜或可互换物镜。变焦透镜或可互换物镜通常为由光 学成像系统34提供的图像提供各种放大倍率。也在共同转让的美国专利号 7,454,053、7,324,682、8,111,905和8,111,938中描述了机器视觉检查系统10 的各种示例性实施方案，这些专利中的每一个均特此通过引用整体地并入本 文。
图2是包括本文公开的某些特征的与图1的机器视觉检查系统类似的机 器视觉检查系统100的控制系统部分120和视觉部件部分200的框图。如将 在下面更详细地描述的，控制系统部分120用于控制视觉部件部分200。控 制系统部分120可被布置为与视觉部件部分200交换数据和控制信号。视觉 部件部分200包括光学组件部分205、光源220、230、240、300和具有中央 透明部分212的工件工作台210。工件工作台210可沿着x轴和y轴可控制 地移动，该x轴和y轴位于通常与可定位工件20的工作台的表面平行的平 面中。
光学组件部分205包括相机系统260和可互换物镜250。在一些实施方 案中，光学组件部分205可任选地包括可变焦距(VFL)透镜，例如，诸如 美国专利号9,143,674中所公开的可调声梯度(TAG)，该专利特此通过引用 整体地并入本文。
在各种示例性实施方案中，光学组件部分205还可包括具有透镜226和 228的转台透镜组件223。作为转台透镜组件的替代方案，在各种示例性实 施方案中，可包括固定或手动可互换的放大倍率更改透镜或变焦透镜配置 等。在各种示例性实施方案中，可互换物镜250可选自作为可变放大倍率透 镜部分的一部分包括的固定放大倍率物镜的集合(例如，与诸如0.5倍、1 倍、2倍或2.5倍、5倍、10倍、20倍或25倍、50倍、100倍等的放大倍率 相对应的物镜的集合)。
光学组件部分205可通过使用可控电机294来沿着通常与x轴和y轴正 交的z轴可控制地移动，所述可控电机驱动致动器以使光学组件部分205沿 着z轴移动以改变工件20的图像的焦点。可控电机294经由信号线296连 接到输入/输出接口130，以在一定范围上改变图像的焦点。可将工件20放 置在工件工作台210上。可控制工件工作台210相对于光学组件部分205移 动，使得可互换物镜250的视场在工件20上的各位置之间和/或在多个工件20当中移动。
工作台光源220、同轴光源230和面光源240(例如，环形灯)中的一 个或多个可分别发出源光222、232和/或242，以照射一个或多个工件20。 例如，在图像曝光期间，同轴光源230可沿着包括分束器290(例如，部分 反射镜)的路径发出源光232。源光232被反射或透射为工件光255，并且 用于成像的工件光穿过可互换物镜250和转台透镜组件223并且由相机系统 260收集。包括工件20的图像的工件图像曝光由相机系统260捕获，并且在 信号线262上被输出到控制系统部分120。
各种光源(例如，光源220、230、240、300)可通过相关信号线(例如， 分别为总线221、231、241、331)连接到控制系统部分120的照明控制接口 133。控制系统部分120可通过信号线或总线223′来控制转台透镜组件223 沿着轴224旋转以选择转台透镜来更改图像放大倍率。
如图2所示，在各种示例性实施方案中，控制系统部分120包括控制器 125、输入/输出接口130、存储器140、工件程序生成器和执行器170及电源 部分190。这些部件中的每一个以及下述附加部件可通过一个或多个数据/ 控制总线和/或应用程序编程接口或者通过各种元件之间的直接连接来互连。 输入/输出接口130包括成像控制接口131、运动控制接口132、照明控制接 口133和透镜控制接口134。
照明控制接口133可包括照明控制元件133a-133n，它们控制例如用于 机器视觉检查系统100的各种对应光源的选择、电源和开/关开关。照明控制 接口133还包括照明控制元件133sip，其在所图示的实施方式中，可与结构 化照射图案(SIP)生成部分300结合地工作以在图像获取期间提供结构化 照射。在各种实施方案中，投影图案可被从SIP生成部分300输出以被输入 到分束器290，其中投影图案作为同轴光被引导通过物镜250以提供SIP结 构化光232′来照射视场。
存储器140可包括图像文件存储器部分141、缺陷检测部分140dp、可 包括一个或多个零件程序等的工件程序存储器部分142以及视频工具部分 143。视频工具部分143包括视频工具部分143a和对于所对应的视频工具中 的每一个确定GUI、图像处理操作等的其他视频工具部分(例如，143n)以 及感兴趣区域(ROI)生成器143roi，该ROI生成器支持自动操作、半自动 操作和/或手动操作，这些操作定义可在视频工具部分143中包括的各种视频工具中操作的各种ROI。在某些先前并入的参考文献中以及在美国专利号 7,627,162中更详细地描述了用于定位边缘特征并且执行其他工件特征检查 操作的此类视频工具的操作的实施例，该专利特此通过引用整体地并入本 文。
视频工具部分143还包括确定用于聚焦高度测量操作的GUI、图像处理 操作等的自动聚焦视频工具143af。在各种示例性实施方案中，自动聚焦视 频工具143af可附加地包括高速聚焦高度工具，该高速聚焦高度工具可用于 使用硬件来高速地测量聚焦高度，如在美国专利号9,143,674中更详细地描 述的，该专利特此通过引用整体地并入本文。在各种示例性实施方案中，高 速聚焦高度工具可以是可根据用于自动聚焦视频工具的常规方法以其他方 式操作的自动聚焦视频工具143af的特殊模式，或者自动聚焦视频工具143af 的操作可仅包括高速聚焦高度工具的那些操作。针对一个或多个图像感兴趣 区域的高速自动聚焦和/或聚焦方位确定可基于根据已知方法来分析图像以 对于各个区域确定对应的定量对比度度量。例如，在美国专利号8,111,905、 7,570,795和7,030,351中公开了此类方法，这些专利特此通过引用整体地并 入本文。
在本公开的上下文中，并且如由本领域的普通技术人员已知的，术语“视 频工具”通常是指机器视觉用户能够通过相对简单的用户界面来实现的一组 相对复杂的自动或编程操作。例如，视频工具可包括一组复杂预编程的图像 处理操作和计算，这些操作和计算通过调整控治操作和计算的几个变量或参 数来应用并且在特定实例中定制。除了底层操作和计算之外，视频工具还包 括允许用户针对视频工具的特定实例调整那些参数的用户界面。应该注意， 有时将可见用户界面特征称为视频工具，同时隐式地包括底层操作。
可将一个或多个显示装置136(例如，图1的显示器16)和一个或多个 输入装置138(例如，图1的操纵杆22、键盘24和鼠标26)连接到输入/ 输出接口130。显示装置136和输入装置138可用于显示用户界面，该用户 界面可包括各种图形用户界面(GUI)特征，这些GUI特征可用于执行检查 操作，和/或创建和/或修改零件程序，查看由相机系统260捕获的图像，和/ 或直接地控制视觉部件部分200。
在各种示例性实施方案中，当用户利用机器视觉检查系统100来为工件 20创建零件程序时，用户通过在学习模式下操作机器视觉检查系统100以提 供所需图像获取训练序列来生成零件程序指令。例如，训练序列可包括在视 场(FOV)中定位代表性工件的特定工件特征，设置光水平、聚焦或自动聚 焦，获取图像，以及提供应用于图像的检查训练序列(例如，对该工件特征 使用视频工具中的一个的实例)。学习模式操作，使得序列被捕获或记录并 且转换为对应的零件程序指令。当零件程序被执行时，这些指令将使机器视 觉检查系统再现经训练后的图像获取并且使检查操作自动地检查特定工件 特征(即对应位置中的对应特征)位于与在创建零件程序时使用的代表性工 件匹配的一个或多个运行模式工件上。在各种示例性实施方案中，可同样或 替代地利用某些类型的训练模式(例如，用于训练缺陷检测部分以便检测缺 陷的训练模式、用于训练异常检测器部分以检测对缺陷检测过程来说不可接 受的异常图像的训练模式等)。
视频工具部分143还包括Z高度测量工具部分143z，其提供与Z高度 测量操作有关的各种操作和特征。在一个实施方案中，Z高度测量工具部分 143z可包括Z高度工具143zt。例如，Z高度工具143zt可包括自动聚焦工 具143af和多点自动聚焦工具143maf。Z高度工具143zt可与被配置在确定 最佳聚焦高度和/或Z高度测量结果的模式下的Z高度工具结合地控治图像 栈获取和相关结构化光图案生成操作的某些方面。通常，Z高度测量工具部 分143z可类似于已知的Z高度测量工具执行至少一些操作，例如，在学习 模式和/或运行模式或其他模式下执行操作，以便生成聚焦曲线的全部或部 分，并且找到其峰值作为最佳聚焦方位。例如，在美国专利号10,520,301中 描述了用于Z高度测量工具的某些已知操作，该专利特此通过引用整体地并 入本文。
缺陷检测部分140dp执行各种缺陷检测操作，如将在下面更详细地描述 的。在执行此类缺陷检测操作之前，使用利用特定(例如，当前)成像、照 明和工件条件所捕获的训练图像集来训练缺陷检测部分140dp。当缺陷检测 部分140dp随后被随着时间的推移用于在线或离线环境中的缺陷检测时，这 些条件可能显著地改变(例如，漂移)。如果在缺陷检测期间使用的图像的 外观与训练图像集中的图像的外观基本上不同，则经训练后的缺陷检测部分 140dp的性能可能劣化。因此，缺陷检测部分140dp可包括监视(例如，异 常检测)系统，该监视系统可以是(例如，在训练缺陷检测部分140dp时， 使用训练图像集中的一些或全部)创建/定义的，并且能够区分正常的(例如， 可接受的)输入图像和异常的(例如，不可接受的)输入图像，而且在缺陷 检测期间的输入图像的外观不再令人满意并且可能负面地影响经训练后的 缺陷检测部分140dp的准确度的情况下向用户报警，从而有效地提高由缺陷 检测部分140dp进行的缺陷检测的可靠性。关于图像的分类，术语“正常的” 和“非异常的”通常被认为具有相同的含义并且在本文中可互换地使用。
在各种示例性实施方案中，缺陷检测部分140dp可实现连同量测过程一 起执行的缺陷检测过程。在各种实施方案中，可能期望将缺陷检测部分140dp 包括在与图1的机器视觉检查系统100类似的机器视觉检查系统中，该系统 被配置为执行量测过程，因为该系统能够生成被输入到由缺陷检测部分 140dp实现的缺陷检测过程的图像数据。因此，单个机器被配置为执行量测 过程和缺陷检测过程二者，这能够提供优于常规量测系统的优点。例如，如 果在执行缺陷检测过程的同时在工件中检测到缺陷，则可能没有要对工件执 行量测过程的理由，这能够节约时间。更具体地，如果在执行缺陷检测过程 的同时在工件中检测到缺陷，则可能不必要测量无疑有缺陷的零件。因此， 在开始量测过程之前执行缺陷检测过程可以是有利的。
另外，一些缺陷可能需要进一步量测或检查以确定附加缺陷参数。例如， 2D图像可能使得能够快速地识别很可能的缺陷并且使得能够快速地探知缺 陷的XY方位和缺陷的近似XY面积。如果潜在缺陷的3D性质是重要的， 则缺陷检测部分140dp可使附加处理(例如，量测操作)被执行以确定潜在 缺陷是否为实际缺陷。例如，如果工件的表面中的划痕必须比特定阈值深以 被认为是缺陷，则缺陷检测部分140dp可能使受影响区域的更耗时的3D点 云被获取(例如，利用z高度测量工具部分143z)，以了解划痕的深度是否 足以使零件被剔除。在各种实施方案中，作为初始缺陷分类的结果可执行不 同的动作(例如，如可被编程为自动地发生)，诸如(1)继续标准量测过程， (2)停止或暂停缺陷检测过程并且执行包括潜在缺陷的更多信息量度(例 如，3D、不同的照明、诸如表面粗糙度的触摸探头测量结果等)的量测过程， (3)将工件发送到回炉料(例如，丢弃或回收工件)，(4)将工件送去进行附加人工检查，(5)向生产线提供指示机械或过程可能出错的反馈等。
在各种示例性实施方案中，存储器140的缺陷检测部分140dp存储用于 缺陷检测系统的各种工具和算法的模型数据和程序指令，这些能够用于推理 在工件的图像中是否存在各种类型的缺陷(即，如在被包括在图像中的工件 表面的一部分上指示缺陷那样)。虽然在训练或学习模式下操作机器视觉检 查系统，但是缺陷检测系统使用包括缺陷图像和无缺陷图像的训练图像集来 训练缺陷检测部分140dp。训练图像集是使用特定(例如，当前)成像、照 明和工件条件来捕获的。在最初训练了缺陷检测部分140dp之后，在运行模 式下操作缺陷检测部分140dp以推理在新的先前未看见的工件图像中是否包 括缺陷，并且相应地将每个工件图像分类为缺陷或无缺陷。
如将在下面更详细地描述的，图3A-3F、图4A-4E和图5A-5D示出了 一些工件图像的实施例，这些工件图像可由机器视觉检查系统100获取并且 可在一些实施方案中用于在训练模式期间训练缺陷检测部分140dp(和/或一 些图像可以是由机器视觉检查系统100在运行模式期间稍后获取的工件图像 的实施例并且可由经训练后的缺陷检测部分140dp分析)。特别地，图3A-3F 和图4A-4E的实施例工件图像在加工铝板上具有不同的截面(即，在不同的 XY位置处)，并且为此图3A-3F示出了无缺陷图像的实施例，而图4A-4E 示出了缺陷图像的实施例(例如，对此来说训练图像集将通常包括许多缺陷 工件图像和无缺陷工件图像二者)，如将在下面更详细地描述的。图像之间 的差异帮助部分地说明为什么可能期望利用许多训练图像来训练缺陷检测 部分140dp。更具体地，部分地由于可被获取以用于检查工件的类型(例如， 如由用于检查加工铝板的类型的工件图像图3A-3F和图4A-4E之间的差异所 图示的)的不同的工件图像的不同可能的特性，可通过利用用于训练的各种 工件图像来改进用于检测缺陷的缺陷检测部分140dp的准确度，这些用于训 练的工件图像可与可稍后在运行模式期间获取和/或可以其他方式更好地使 得能够检测此类图像中的缺陷的各种图像类似。例如，具体地关于图3A-3F、 图4A-4E和图5A-5D的实施例，这种训练可帮助缺陷检测部分140dp区分 缺陷(例如，其在所图示的实施例中可包括各种不同的类型的划痕缺陷等) 和正常工件表面的特征(例如，其在所图示的实施例中可包括在作为跨表面变化的散列纹理出现的板表面上形成的各种不同类型的加工标记等)。
当在运行模式下操作缺陷检测部分140dp的同时，例如，由于在获得图 像数据时照射工件的一个或多个光源的老化、灰尘的积聚(例如，在透镜上)、 光学失准、变化的制造条件以及其他随机或系统性因素，随着时间的推移在 机器视觉检查系统中使用的成像、照明和工件条件可显著地改变(例如，漂 移等)。结果，在运行模式分析期间输入到缺陷检测部分140dp的图像可变 得与用于训练缺陷检测部分140dp的图像基本上不同，这可引起相当更差的 缺陷检测性能。例如，更多的假阳性可以是通过无缺陷图像上改变的成像条 件被缺陷检测部分140dp解释为缺陷而引起的。作为另一实施例，由于改变 的图像条件，缺陷检测部分140dp可能难以相对于正常的工件表面特征(例 如，加工标记等)检测或以其他方式区分实际缺陷。
因此，缺陷检测部分140dp包括图像数据监视器和异常检测器子系统， 其创建训练图像集(例如，包括缺陷和无缺陷图像，并且可包括可用的训练 图像中的全部或一些)的广义模型并且存储具有缺陷检测部分140dp的广义 模型以随后用于在缺陷检测期间监视图像的质量。如将在下面更详细地描述 的，在各种实施方案中，广义模型的确定可包括从训练图像中确定训练图像 特征并且基于训练图像特征来确定异常检测器分类特性。依照模型的用途， 如果用于缺陷检测的图像的外观/质量与用于训练缺陷检测部分140dp的图像的外观/质量偏离太远(例如，对此图像可被分类为异常的)，则可执行设 计的动作(例如，可向用户报警和/或可调整系统等)。例如，用户或系统能 够调整成像条件、照明条件和/或工件条件，或者重新训练缺陷检测部分 140dp以补偿偏差并且维持缺陷检测系统的良好性能。
应领会，如以上所描述的(并且如通过图3A-3F、图4A-4E和图5A-5D 的各种示例所图示的)各种潜在训练图像帮助说明利用训练图像集来确定广 义模型的重要性。更具体地，由于训练图像可具有变化特性，所以依照本文 公开的原理，确定差异的准确表示(例如，如对应于不同的训练图像特征和 相关异常检测器分类特性的范围或其他量度那样)是有益的，这帮助确保用 于将某些图像分类为异常的(例如，具有已偏离超过了如根据训练图像所确 定的特性的某些可接受范围、阈值等的特性等)的异常检测过程的准确度。
如以上所指出的，图3A-3F和图4A-4E是相对“平坦的”加工铝板的工件 的截面的工件图像的实施例。每个图像是从同一角度视点(例如，在与板成 90度角度正上方)拍摄的，但各个是在板上的不同XY位置处拍摄的。每个 图像示出了为板的表面的约2.5毫米乘1.9毫米(XY)的视图。因此，每个 图像示出了板的表面的一部分的放大视图。在板表面上形成的加工标记创建 通常跨表面变化的散列纹理。在图像中，在这样的放大比例下，相对较平坦 的板可能看起来不平坦。在当前示例中，散列加工标记脊中的一些的高度可 以为大约5微米或更小。
图3A-3F所示的加工铝板的截面不包括缺陷。换句话说，图3A-3F示出 了“无缺陷”的加工铝板的截面的图像的实施例。相比之下，图4A-4E示出了 包括缺陷的工件的截面的图像的实施例。图4A-4E所示的图像与图3A-3F 所示的图像类似，不同之处是图4A-4E的图像包括在加工铝板的表面上形成 的缺陷402。这些示例中的缺陷402是在加工铝板的表面中形成的划痕。更 具体地，图4A图示了划痕缺陷402A1和402A2，图4B图示了划痕缺陷402B1和402B2，图4C图示了划痕缺陷402C1和402C2，图4D图示了划痕缺陷 402D，并且图4E图示了划痕缺陷402E1和402E2。如以上所指出的，图3A-3F 和图4A-4E所图示的缺陷和工件表面的各种特性帮助部分地说明为什么可 能期望利用许多训练图像来训练缺陷检测部分140dp(例如，为此训练图像 集将通常包括许多缺陷工件图像和无缺陷工件图像)，并且相应地说明为什 么可能期望利用各种训练图像来确定帮助改进异常检测过程的准确度的训 练图像特征和相关异常检测器分类特性。
图5A-5D是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的具有和没有缺陷的工件的类似部分的图像的实施例。图5A示出 了可被分类为“无缺陷”的板的实施例截面。图5B-5D示出了可被分类为“缺 陷”的板的截面的图像的实施例，其中每个图像包括划痕缺陷502(例如，包 括相应的划痕缺陷502B、502C和502D)。在图5A-5D的实施例中，图像是 工件的类似部分的(例如，为此在各部分的表面上形成的加工标记的类型在 每个图像中类似或在名义上相同，并且图像之间的主要差异是相应的划痕缺 陷502B、502C和502D的特性)。在一个实施例实施方案中，图5A-5C的图 像可作为用于训练缺陷检测部分140dp的训练图像集的一部分被包括。图5D 的图像可以是运行模式图像的实施例，该运行模式图像可由缺陷检测部分 140dp分析以确定它应该被分类为缺陷图像还是无缺陷图像。在各种实施方 案中，缺陷检测部分140dp可能已被很好地训练以便能够将图5D的图像适 当地分类为缺陷图像(例如，如已通过图5A-5C的包括工件的类似部分以及 与划痕缺陷502D具有某些类似特性的划痕缺陷502B和502C的训练图像所 训练的那样)。在各种实施方案中，可对于实施例划痕缺陷502D执行某些附 加过程。例如，可与缺陷检测过程结合地执行一个或多个量测过程，为此可 确定实施例划痕缺陷502D的各种尺寸或其他特性，如将在下面关于图6更 详细地描述的。如还将在下面关于图7A-7J和图8A-8F更详细地描述的，可 能在各种运行模式图像(例如，其在特定实施例中可以是类似的并且与图5A 和图5D的图像进行比较)中发生异常变化。
图6是图示了利用一个或多个视频工具来对包括缺陷的工件的图像执行 量测操作(例如，以便确定缺陷的尺寸等)的图。如图所示，对于包括划痕 缺陷602(例如，其可与划痕缺陷502D类似或相同)的图像601(例如，其 可与图5D的图像类似或相同)，视频盒工具606包括扫描线608(例如，其 可同样或替代地表示视频点工具等)，这些扫描线被用于确定划痕缺陷602 的边缘位置、尺寸和/或其他方面。在各种示例性实施方案中，视频盒工具606可被调整大小、定位和旋转，直到盒工具606指示或定义感兴趣区域(例 如，盒工具606内的区域)为止，并且可利用图6所示的箭头(例如，表示 扫描线、点工具等)来确定划痕缺陷602的边缘。在各种示例性实施方式中， 视频盒工具606通常可使用沿着感兴趣区域中的缺陷602的边缘的一个或多 个常规边缘梯度，并且可基于沿着各个扫描线608等的边缘梯度的局部幅度 来确定缺陷602的边缘。
在各种示例性实施方案中，此类量测操作还可包括执行某些形态学过滤 或其他过滤(例如，以区分划痕的边缘和工件的加工图案，对此在美国专利 号7,522,763中描述了这种过滤的某些类型，该专利特此通过引用整体地并 入本文)。如图6所示，在图像中包括的显示区域中，利用具有扫描线608 的盒工具606来确定划痕缺陷602的边缘位置(例如，外边缘或周边)。基 于此类确定，视频工具和/或其他量测操作可包括确定划痕缺陷的尺寸D1(例 如，与划痕缺陷602的长度或其他尺寸相对应)。在各种示例性实施方案中， 可利用盒工具606、扫描线608和/或其他视频工具和/或量测操作来确定划 痕缺陷602的其他尺寸(例如，宽度、深度等)。例如，如上所述，视频工 具部分143可包括Z高度测量工具部分143z，为此对应的视频工具或操作 可用于确定划痕缺陷的Z高度尺寸(例如，包括确定划痕相对于工件表面的 其他部分或特征的深度等)。
作为缺陷检测部分的一般操作的一部分，检测到的一些缺陷可能需要进 一步量测或检查以确定附加缺陷参数。例如，如以上所指出的，对包括划痕 缺陷602的缺陷图像的各种类型的分析和/或处理可使得能够确定缺陷602 的XY方位和近似XY面积和/或其他尺寸(例如，利用如上所述的视频工具 和/或其他操作)。如果潜在缺陷的3D性质是重要的(例如，如果划痕必须 比某个值深以被认为是缺陷)，则缺陷检测部分140dp可启动用于利用(例 如，Z高度测量工具部分143z的)Z高度测量工具的过程或其他3D感测过 程(例如，用于获取受影响区域的3D点云以确定划痕的深度等)。
如将在下面更详细地描述的，图7A-7J是如可由与图1的机器视觉检查 系统类似的机器视觉检查系统所获取的具有和没有缺陷(例如，与图5A和 图5D类似)并且具有变化亮度水平的工件的类似部分的图像的实施例。关 于变化亮度水平，在各种示例性实施方案中，如上所述可分析训练图像集以 确定训练图像特征(例如，与亮度和/或其他特征有关)，并且可基于训练图 像特征来确定对应的异常检测器分类特性。依照此类确定，在一个特定实施 例实施方案中机器视觉检查系统100可相对于训练图像被确定为能够提供鲁 棒的准确度性能，达到用于照射工件20的工作台光源220、同轴光源230 和/或面光源240的基线亮度的约±15％。随着时间的推移当使用工作台光源 220、同轴光源230和面光源240时，每个光源的亮度可能降级。附加地或 替代地，可无意地将工作台光源220、同轴光源230和面光源240的亮度设 置为与用于获取训练图像的亮度显著不同的值，从而产生差的图像缺陷检测 准确度性能。附加地或替代地，相机光圈或其他透光光学元件(例如，透镜、 反射镜、滤光器等)能根据其用于获取训练图像的条件或设置而改变，从而 导致或多或少的光到达相机成像器。附加地或替代地，当获取训练图像时环 境室内光能根据其强度改变，从而导致或多或少的光到达相机成像器。因此， 可能期望检查由机器视觉检查系统100生成的图像数据以便确定正被检查的 图像的亮度是否大于基线亮度的±15％(例如，对此基线亮度的±15％可表示 异常检测器分类特性)，并且在亮度在导致鲁棒的缺陷检测准确度性能的范围外的情况下执行指定的动作(例如，以警告用户工件20的照明条件有问 题和/或以调整一个或多个灯设置等)。
因此，缺陷检测部140dp可包括图像数据监视器和异常检测器子系统， 其能够处理与工件的图像相对应的图像数据并且检测图像数据是否被生成 有在导致鲁棒的准确度性能的范围(例如，基线亮度的±15％)外的亮度。 在已使用训练图像集来训练了图像数据监视器和异常检测器子系统之后，图 像数据监视器和异常检测器子系统能够检测操作图像数据是否被生成有在 导致鲁棒的准确度性能的范围外的亮度。
图7A-7J是如可由与图1的机器视觉检查系统类似的机器视觉检查系统 例如在运行模式期间所获取的和/或如可被用作训练图像的具有和没有缺陷 并且具有变化亮度水平的工件的类似部分的图像的实施例。在图7A-7J的实 施例中，图像是工件的类似部分的(例如，为此在各部分的表面上形成的加 工标记的类型在每个图像中类似或在名义上相同，并且图像之间的主要差异 是亮度水平)。图7A-7E的图像是无缺陷图像(例如，如可与图5A的图像 进行比较那样)，而图7F-7J的图像是缺陷图像(例如，如可与图5D进行比 较那样并且如包括与缺陷502D类似的相应缺陷702F-702J那样)。
在一个实施例实施方案中，可训练图像数据监视器和异常检测器子系统 以在图像数据指示为基线亮度的±15％的亮度(例如，平均亮度)的情况下 将图像数据分类为“正常的”或“非异常的”，而在图像数据指示不为基线亮度 的±15％的亮度的情况下将图像数据分类为“反常的”或“异常的”。例如，如果 图像数据监视器和异常检测器子系统确定图像数据指示为基线亮度的±25％ 的亮度，则图像数据监视器和异常检测器子系统可将图像数据分类为“反常 的”或“异常的”。
图7A是具有基线亮度的工件的无缺陷图像。依照本实施例，图像数据 监视器和异常检测器子系统可将与图7A的图像相对应的图像数据分类为 “正常的”或“非异常的”。
图7B是亮度比基线亮度低25％的工件的无缺陷图像。依照本实施例， 图像数据监视器和异常检测器子系统可将与图7B的图像相对应的图像数据 分类为“反常的”或“异常的”。
图7C是亮度比基线亮度低15％的工件的无缺陷图像。依照本实施例， 图像数据监视器和异常检测器子系统可将与图7C的图像相对应的图像数据 分类为“正常的”或“非异常的”。
图7D是亮度比基线亮度高15％的工件的无缺陷图像。依照本实施例， 图像数据监视器和异常检测器子系统可将与图7D的图像相对应的图像数据 分类为“正常的”或“非异常的”。
图7E是在使用比基线亮度高25％的亮度来照射工件的同时捕获的工件 的无缺陷图像。依照本实施例，图像数据监视器和异常检测器子系统可将与 图7E的图像相对应的图像数据分类为“反常的”或“异常的”。
图7F是具有基线亮度的工件的缺陷图像。依照本实施例，图像数据监 视器和异常检测器子系统可将与图7F的图像相对应的图像数据分类为“正常 的”或“非异常的”。
图7G是亮度比基线亮度低25％的工件的缺陷图像。依照本实施例，图 像数据监视器和异常检测器子系统可将与图7G的图像相对应的图像数据分 类为“反常的”或“异常的”。
图7H是亮度比基线亮度低15％的工件的缺陷图像。依照本实施例，图 像数据监视器和异常检测器子系统可将与图7H的图像相对应的图像数据分 类为“正常的”或“非异常的”。
图7I是亮度比基线亮度高15％的工件的缺陷图像。依照本实施例，图 像数据监视器和异常检测器子系统可将与图7I的图像相对应的图像数据分 类为“正常的”或“非异常的”。
图7J是亮度比基线亮度高25％的工件的缺陷图像。依照本实施例，图 像数据监视器和异常检测器子系统可将与图7J的图像相对应的图像数据分 类为“反常的”或“异常的”。
应领会，虽然图示15％和25％的亮度水平的某些图像对(例如，图7B 和图7C、图7D和图7E、图7G和图7H及图7I和图7J的图像)可能在一 些情况下不会看起来对人眼显著不同，但是此类差异对缺陷检测部分140dp 的操作来说可以是显著的。例如，在某些实施方案中，可确定亮度水平与基 线亮度水平的25％的差异以抑制缺陷检测部分140dp准确地区分缺陷(例如， 诸如缺陷702G和702J)和正常工件表面的特征(例如，图7G和图7J的图 像中的表面的其他部分和/或关于确定在诸如图7B和图7E的那些的图像中 是否存在此类缺陷)的能力。
如将在下面更详细地描述的，图8A-8F是如可由与图1的机器视觉检查 系统类似的机器视觉检查系统所获取的具有和没有缺陷(例如，与图5A和 图5D类似)并且具有变化聚焦水平的工件的类似部分的图像的实施例。关 于变化聚焦水平，在各种示例性实施方案中，如上所述可分析训练图像集以 确定训练图像特征(例如，与聚焦和/或其他特征有关)，并且可基于训练图 像特征来确定对应的异常检测器分类特性。依照此类确定，在一个特定实施 例实施方案中，如果在相机系统260的可接受焦深(DOF)范围内对感兴趣 工件表面获取图像，则机器视觉检查系统100可相对于训练图像被确定为能 够提供鲁棒的准确度性能。可将相机系统DOF与工件离最佳聚焦距离的距 离进行比较以指示图像中的相对聚焦或散焦量。在以最佳聚焦距离为中心的 一个DOF的范围内对工件捕获的图像被认为具有极好的聚焦，然而在距最 佳聚焦距离某个较大的距离处但在某个阈值DOF范围(例如，4倍DOF)以下对工件捕获的图像可被认为具有仍然提供鲁棒的缺陷检测准确度性能 的可接受散焦量。相比之下，在阈值DOF范围外(例如，在4倍DOF范围 外，诸如在比最佳聚焦距离更远或更接近相机系统的6倍DOF下)对工件 捕获的图像可被认为具有不会提供鲁棒的缺陷检测准确度性能的不可接受 散焦量。
图8A-8F是如可由与图1的机器视觉检查系统类似的机器视觉检查系统 例如在运行模式期间所获取的和/或如可被用作训练图像的具有和没有缺陷 并且具有变化聚焦水平的工件的类似部分的图像的实施例。在图8A-8F的实 施例中，图像是工件的类似部分的(例如，为此在各部分的表面上形成的加 工标记的类型在每个图像中类似或在名义上相同，并且图像之间的主要差异 是聚焦水平)。图8A-8C的图像是无缺陷图像(例如，如可与图5A的图像 进行比较那样)，而图8D-8F的图像是缺陷图像(例如，如可与图5D进行 比较那样并且如包括与缺陷502D类似的相应缺陷802D-802F那样)。
在一个实施例实施方案中，可训练图像数据监视器和异常检测器子系统 以在图像数据指示散焦在系统DOF的四倍内的情况下将图像数据分类为“正 常的”或“非异常的”，而在图像数据未指示散焦在基线DOF的四倍内的情况 下将图像数据分类为“反常的”或“异常的”。例如，如果图像数据监视器和异 常检测器子系统确定图像数据指示散焦达系统DOF的八倍，则图像数据监 视器和异常检测器子系统可将图像数据分类为“反常的”或“异常的”(例如， 并且对此可执行指定的动作，诸如向用户提供警告和/或自动地调整系统，诸如调整透镜或工件的位置等以实现更好的聚焦)。
图8A是在最佳聚焦的系统DOF内具有焦点的工件的无缺陷图像。依照 本实施例，图像数据监视器和异常检测器子系统可将与图8A的图像相对应 的图像数据分类为“正常的”或“非异常的”。
图8B是从最佳聚焦散焦达系统DOF的四倍的工件的无缺陷图像。例如， 如果可接受图像的散焦阈值是4倍DOF，则此图像中的散焦量在允许的公差 内，所以不应该提供用户警告。因此，图像数据监视器和异常检测器子系统 可将与图8B的图像相对应的图像数据分类为“正常的”或“非异常的”。
图8C是从最佳聚焦散焦达系统DOF的八倍的工件的无缺陷图像。依照 本实施例，图像数据监视器和异常检测器子系统可将与图8C的图像相对应 的图像数据分类为“反常的”或“异常的”。因此，图像数据监视器和异常检测 器子系统发出用户警告和/或关于未被认为适合于缺陷检测过程的图像采取 另一动作(例如，调整相机系统260的部件的参数或位置，这产生可接受的DOF)。
图8D是在最佳聚焦的系统DOF内具有焦点的工件的缺陷图像。依照本 实施例，图像数据监视器和异常检测器子系统可将与图8D的图像相对应的 图像数据分类为“正常的”或“非异常的”。
图8E是从最佳聚焦散焦达系统DOF的四倍的工件的无缺陷图像。依照 本实施例，图像数据监视器和异常检测器子系统可将与图8E的图像相对应 的图像数据分类为“正常的”或“非异常的”。
图8F是从最佳聚焦散焦达系统DOF的八倍的工件的无缺陷图像。依照 本实施例，图像数据监视器和异常检测器子系统可将与图8F的图像相对应 的图像数据分类为“反常的”或“异常的”。
如上所述，与和图7A-7J及图8A-8F所示的图像类似的图像相对应的图 像数据可对应于被图像数据监视器和异常检测器子系统分类为正常/非异常 或反常/异常的运行模式图像。在各种实施方案中，此类图像还可表示可被包 括在用于训练缺陷检测部分140dp的图像数据监视器和异常检测器子系统的 训练图像集中的训练图像。此类图像可在一些实施方案中基于被增强以具有 在训练图像数据监视器和异常检测器子系统时有用的特定质量的图像数据。 例如，可基于指示增强极限的参数来生成与增强图像集相对应的图像数据。 在各种实施方案中，可自动地定义指示增加极限的参数。
另外，可在用户的控制下定义指示增强极限的参数(例如，用于生成训 练图像)。图9是能够用于定义指示增强极限的参数的图像增强图形用户界 面900的实施例。图像增强图形用户界面900显示选定基线图像902。
图像增强图形用户界面900包括复选框904，所述复选框当被勾选时， 启用亮度增强功能性。亮度增强功能性使得用户能够指定用于生成增强的训 练图像的指示较低的亮度极限的参数和指示较高的亮度极限的参数。更具体 地，图形用户界面900包括具有手柄908的滑块906，该滑块能够用用户输 入设备(例如，鼠标)选择和移动以设置指示较低的亮度极限(例如，5) 的参数的值910，所述较低的亮度极限被显示。对应的图像912被显示，所述对应的图像是基线图像902的基于指示较低的亮度极限的参数被修改为具 有较低的亮度的副本。类似地，图形用户界面900包括具有手柄916的滑块 914，所述滑块能够被移动以设置指示较高的亮度极限(例如，7)的参数的 值918。对应的图像920被显示，所述对应的图像是基线图像902的基于指 示较高的亮度极限的参数被修改为具有较高的亮度的副本。
图像增强图形用户界面900还包括复选框922，所述复选框当被勾选时， 启用聚焦增强功能性。聚焦增强功能性使得用户能够指定用于生成增强的训 练图像的指示可接受聚焦的范围的参数。更具体地，图形用户界面900包括 具有手柄926的滑块924，所述滑块能够被选择和移动以设置指示关于作为 系统焦深(例如，3倍DOF)的一因素的最佳聚焦距离的可接受聚焦范围的 参数的值928。对应的图像930被显示，所述对应的图像是基线图像902的 基于指示焦深的参数被修改为散焦的副本。
图像增强图形用户界面900还包括复选框932，所述复选框当被勾选时， 启用噪声增强功能性。噪声增强功能性使得用户能够指定用于生成增强的训 练图像的指示噪声量的参数。更具体地，图形用户界面900包括具有手柄936 的滑块934，所述滑块能够被选择和移动以设置指示在上面期望鲁棒的缺陷 检测准确度的最大数字噪声量(例如，10)的参数的值938。对应的图像940 被显示，所述对应的图像是基线图像902的基于指示噪声量的参数被修改为 包括附加噪声的副本。
使用图像增强图形用户界面900来设置的各种参数能够用于针对增强图 像集生成附加图像数据。在各种示例性实施方案中，能够将用于基于基线图 像902生成与图像912、920、930和940相对应的图像数据的各种增强参数 的相同值(例如，910、918、928、938)应用于训练图像集的图像数据的全 部或选定子集以针对增强图像集生成附加图像数据。
图10和图11示出了用于操作与图1的机器视觉检查系统类似的机器视 觉检查系统的方法1000的流程图。方法1000在1010开始。在1010，获取 多个训练图像。作为特定实施例，在一个实施方案中可获取图3A-3F、图 4A-4E和图5A-5D的图像中的一些或全部并且将其用作训练图像。应领会， 虽然在当前图中图示了有限数目的实施例训练图像，但是在各种实施方案中 可利用不同数目的训练图像(例如，50、100、150个等)。在各种实施方案 中，利用多个训练图像中的至少一些来训练缺陷检测部分。例如，训练图像 可包括用相机系统260获取并且当缺陷检测部分140dp在训练模式下操作时 输入到其的工件的原始图像(例如，诸如图3A-3F、图4A-4E和图5A-5D 的图像)。另外，多个训练图像可包括例如使用图9所示的图像增强图形用 户界面900来创建的增强图像集。方法1000然后进行到1020。
在1020，从在1010获取的多个训练图像中确定多个训练图像特征。在 各种实施方案中，训练图像特征(例如，如自动地确定的和/或至少部分地由 系统设计者确定的)可包括诸如平均图像亮度、亮度的标准偏差、灰度直方 图、主频(例如，通过执行快速傅里叶变换(FFT)来获得)和平均对比度 量度。方法1000然后进行到1030。
在1030，至少部分地基于在1020确定的多个训练图像特征，确定多个 异常检测器分类特性。在各种示例性实施方案中，自动过程和/或系统设计者 可至少部分地基于所确定的训练图像特征来确定异常检测器分类特性。例 如，可确定平均图像亮度不在基线图像亮度的±15％内的图像数据将被分类 为异常的，和/或指示从最佳聚焦散焦大于系统焦深(DOF)的四倍的图像数 据将被分类为异常；否则，图像数据将被分类为正常的或非异常的。在各种 实施方案中，训练图像特征被自动地提取(例如，由预训练的卷积神经网络 等)，并且为此，可根据所提取的特征开发(例如，定义、训练、拟合等)“正 常的”训练数据集的广义模型(例如，为此不同类型的模型可包括：选定特 征上手动地定义的阈值；基于向量相似度的阈值(例如，如可被手动地调谐)； 单类支持向量机(异常)检测器)；或自动编码器(异常检测器等))。在各 种替代实施方案中，也可创建合成数据集，其中各种特征可被更改/改变/干 扰(或者不被更改/改变/干扰)以模拟异常图像和正常图像，并且为此可训 练两类分类器以能够区分合成数据集中的正常图像和异常图像。在各种示例 性实施方案中，两类分类器可用于对特征进行分类，并且可基于逻辑回归分 析、最近邻分析、判别分析、朴素贝叶斯分类器、决策树、支持向量机(SVM)、 神经网络、分类器的集合、或在ImageNet上训练的卷积网络，诸如由Zeiler 和Fergus在“Visualizing and Understanding ConvolutionalNetworks”, arXiv:1311.2901v3[cs.CV]28Nov 2013中所描述的，其特此通过引用整体地并入本文。结合此类过程，可标识使图像变得异常的特征(例如，可标识异 常的原因等)。在各种实施方案中，当训练图像包括增强图像集时，可从增 强图像中提取特征并且为此至少一些特征可至少部分地由被利用的增强类 型(例如，平均图像亮度、亮度的标准偏差、灰度直方图、主频(FFT))、 平均对比度量度、图像噪声量度等来定义，并且为此在一些情况下，可创建 相对简单的基于极限的异常检测器，其将在增强图像集的范围内的特征认为 是“正常的”并且将在这些范围外的特征认为是“异常的”(例如，如也可允许 实现对导致图像被分类为异常的特征(即，原因)的相对简单的标识。方法 1000然后进行到1040。
在1040，在运行模式期间获取工件的运行模式图像。例如，用于在1010 获取训练图像的同一相机系统用于获取工件的运行模式图像。方法1000然 后进行到1050。
在1050，确定来自运行模式图像的多个特征。例如，来自运行模式图像 的特征可包括与运行模式图像的平均亮度相对应的值和与散焦水平相对应 的值。方法1000然后进行到1060。
在1060，基于在1050确定的运行模式图像的多个特征，利用在1030 确定的异常检测器分类特性来将在1040获取的运行模式图像分类为非异常 的(例如，对准确的缺陷检测来说是可接受的)或异常的(例如，对准确的 缺陷检测来说是不可接受的)。例如，如果在1050做出了运行模式图像的平 均亮度具有异常的特性的值并且运行模式图像具有与基线DOF相对应的焦 点，则基于在1030确定的异常检测器分类特性，将运行模式图像分类为异常的。作为实施例，如果运行模式图像被分类为异常的(例如，如对缺陷检 测来说是不可接受的那样)或非异常的确定，则可相应地将图像分别标记为 异常的或非异常的(例如，为此可与与图像数据关联地存储或以其他方式指 示所标记的条件等)。方法1000然后进行到1070。
在1070，确定运行模式图像是否被分类为异常的。例如，做出包括与运 行模式图像相对应的图像数据的文件是否被标记为异常的或非异常的确定， 如指示对应的异常分类或非异常分类那样。如果确定运行模式图像被分类为 异常的，则方法1000进行到1080。如果不确定运行模式图像被分类为异常 的，则方法1000进行到1090。
在1080，执行针对异常图像的过程。例如，可执行设计的动作(例如， 能够警告用户和/或可调整系统等)。在各种实施方案中，可标识异常的原因 (例如，可标识对图像异常负责的一个或多个)，并且在一些情况下，可向 用户提供关于图像为什么异常的消息或其他指示并且/或者可相应地调整系 统等。在各种实施方案中，对系统的调整可包括调整成像条件、照明条件、 聚焦条件和/或工件条件。此类调整的实施例可包括调整光源的亮度、调整物 镜的位置和/或调整工件的位置等。
任选地在1090(或者如可在其他时间和/或与方法1000的某些部分并行 地执行的那样)，利用缺陷检测部分来确定运行模式图像是否将被分类为缺 陷图像。例如，可将与运行模式图像相对应的图像数据输入到缺陷检测器(例 如，作为缺陷检测部分140dp的一部分)。在一个实施例实施方案中，缺陷 检测器可基于具有神经网络的多标签图像分类，所述神经网络由缺陷检测部 分140dp实现并且已被训练来使用训练图像集来检测缺陷。作为响应，缺陷 检测部分可在工件图像内标识具有缺陷的特性的多个像素，并且可相应地确 定运行模式图像被分类为缺陷图像。方法1000然后进行到1095。
在1095，做出关于是否要获取附加运行模式图像的确定。例如，响应于 继续获取多个图像和/或用户按压按钮或者使用图形用户界面来选择图标以 指示要检查另一工件图像，做出要获取附加运行模式图像的确定。如果要获 取附加运行模式图像，则方法1000返回到1040。如果不要获取附加运行模 式图像，则方法1000结束。
尽管已经示出和描述了本公开的优选实施方式，但是基于本公开，本领 域技术人员应当理解特征的所示和所描述的布置以及操作序列的许多变化。 可使用各种替代形式来实现本文公开的原理。
本说明书中提及的所有美国专利特此以引用方式全部并入本文。如果需 要采用各种专利和申请的概念以提供另外的实施方式，则可以修改实施方式 的各方面。可以根据上述详细描述对实施凡是进行这些和其它改变。通常， 在下面的权利要求中，所使用的术语不应当被解释为将权利要求限制为在说 明书和权利要求中公开的特定实施方式，而应当被解释为包含所有可能的实 施方式以及此类权利要求被授权的等同物的全部范围。
机译： 工件检测和缺陷检测系统，包括监控工件图像
机译： 工件检测和缺陷检测系统，包括工件图像监控
机译： 工件检查和错误检测系统包括监控工件
