微生物检测方法、微生物检测设备和程序

摘要

用于检测微生物的方法，包括：训练步骤，用于由分类器基于培养基中的训练对象区域内的个别点上的颜色数据形成特征向量，将所述特征向量所规定的培养基内的点映射到高维特征空间，以及将因此获得的高维特征向量所规定的点集合ψ(x1)线性分离，从而按颜色归类出培养基类别(C1)；和识别步骤，用于由分类器使用通过捕获在培养下的培养基的图像所获得的图像数据基于在所述培养基内的区域内的个别检查点上的颜色数据形成特征向量，将所述特征向量所规定的检查点(xj)映射到高维特征空间，以及判定因此获得的所述高维特征向量所规定的映射点ψ(x1)是否属于培养基类(C1)，从而基于不属于培养基类(C1)的检查点识别菌落。

说明书

技术领域

本发明涉及微生物检测方法、微生物检测设备和程序，其中通过检测真核 生物和细菌(如大肠杆菌)之类的微生物来检查食物之类的检查对象。

背景技术

专利文献1揭示了一种检测食物之类中所含微生物的方法。根据这篇文献 所揭示的检测方法，在培养前后，用CCD线传感器捕获用于细菌检测的平板 的图像。比较所获得的图像数据，以对菌落进行计数。专利文献2揭示了一种 通过使用预先规定的颜色数据来检测微生物的方法。

在专利文献1的检测方法中，通过简单地比较图像数据来对菌落计数。因 此，当培养前后相机和培养基之间的相对位置改变时，或者当培养基的颜色和 微生物的颜色类似时，不能充分确保微生物检测的精度。在专利文献2的检测 方法中，微生物是通过使用预先规定的颜色数据来检测的。因此，当微生物的 颜色改变或者当培养基的颜色和微生物的颜色类似时，不能充分确保微生物检 测的精度。

现有技术文献

专利文献

专利文献1：日本特开No.2000-69994

专利文献2：日本特开No.11-221070

发明内容

本发明要解决的问题

因此，本发明的目的是提供一种能够精确地检测检查对象培养基中产生的 菌落的微生物检测方法、微生物检测设备和程序。

解决问题的手段

为了实现前述目的，根据本发明的第一方面，提供一种用于检测培养基中 培养的微生物菌落的微生物检测方法。该方法包括训练步骤和识别步骤。训练 步骤包括：捕获培养基区域内有无微生物菌落的学习对象的彩色图像，设置 (setting)所述捕获到的彩色图像内的至少一部分培养基区域为训练对象区域； 获得所述训练对象区域内的培养基点和微生物点中任何一种或者两者的颜色 数据作为学习数据；将所述学习数据提供给分类器以获得所述颜色数据的特征 向量；所述分类器分离所述特征向量所规定的点集合，以归类出培养基类别和 微生物类别中的至少一类。所述识别步骤包括：将与捕获到的检查对象的彩色 图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色 数据提供给所述训练过的分类器，以检查所述培养基区域内存在或不存在微生 物菌落，从而获得所述颜色数据的特征向量；所述分类器判定所述特征向量所 规定的点属于所述训练步骤中所分的类别中的哪一类；基于所述判定结果识别 菌落。

根据这个方案，在所述训练步骤，所述培养基点和微生物点其中的一个或 者两者的颜色数据被提供给所述分类器作为学习数据，从而获得颜色数据的特 征向量。所述分类器将所述特征向量所规定的点集合分离，用颜色归类出培养 基类别和微生物类别中的至少一类。在所述识别步骤，在所述检查对象的彩色 图像内的检查对象区域内的每个检查点的颜色数据被提供给所述训练过的分 类器，从而获得所述颜色数据的特征向量。所述分类器确定所述特征向量所规 定的点属于哪一类，并基于所述确定结果识别菌落。因此，可以判定在培养基 和微生物中的至少一个可以用颜色进行分类(分离)的特征空间内是培养基还 是微生物。因此，甚至当菌落的颜色改变，或者与培养基的颜色类似时，也可 以精确地识别出菌落。甚至当图像捕获装置与检查对象的相对位置在训练和识 别之间或多或少有移动时，可以精确地检测菌落。因此，可以精确地检测在检 查对象中产生的微生物菌落。

在上面描述的微生物检测方法的训练步骤中，优选地将在所述捕获到所述 培养基区域内没有微生物菌落的学习对象的彩色图像中的训练对象区域内的 培养基点的颜色数据提供给所述分类器，作为学习数据，以获得所述颜色数据 的特征向量，所述培养基类优选地是由所述分类器来分类的，通过在与所述特 征向量所规定的点集合向外有一个预定距离的位置设置阈值。在所述识别步 骤，优选地，将捕获到的所述检查对象的彩色图像中的检查对象区域内的每个 检查点的颜色数据提供给所述训练过的分类器，以获得所述颜色数据的特征向 量，优选地由所述分类器判定所述特征向量所规定的检查点是否属于所述培养 基类，并且优选地基于已经判定为不属于所述培养基类的检查点，识别菌落。

根据这个方案，为所述培养基的颜色数据训练所述分类器，在所述识别步 骤，基于已经判定为不属于培养基类的检查点识别菌落。在这种情况下，在所 述培养基上进行简单的训练便足矣。因此，所述检测过程比较简单。

在上面描述的微生物检测方法的训练步骤中，在所述捕获到学习对象的彩 色图像中的训练对象区域内的培养基点的颜色数据和微生物点的颜色数据优 选地提供给所述分类器作为学习数据，以获得所述颜色数据的特征向量，所述 特征向量所规定的培养基点集合和微生物点集合优选地由所述分类器分离，以 归类出培养基类别和微生物类别。在所述识别步骤，在捕获到的所述检查对象 的彩色图像中的检查对象区域内的每个检查点的颜色数据被优选地提供给所 述训练过的分类器，以获得所述颜色数据的特征向量，优选地由所述分类器基 于已经确定是属于微生物类的检查点，判定所述特征向量所规定的检查点属于 培养基类别和微生物类别中的哪一类，优选地识别菌落。

根据这个方案，在所述培养基和微生物点的颜色数据上训练所述分类器， 并归类出所述培养基类别和微生物类别。在所述识别步骤，训练过的分类器判 定所述检查点属于所述培养基类别和微生物类别中的哪一类，从而识别出菌 落。因此进一步提高菌落检测的精度。

在上面描述的微生物检测方法的训练步骤和识别步骤中，提供给所述分类 器的数据优选的是除了所述颜色数据之外还包括形状数据和面积数据其中的 至少一种。

根据这个方案，在训练期间，除了颜色数据之外的形状数据和面积数据其 中的至少一个被提供给所述分类器。因此进一步提高了菌落检测的精度。

在上面描述的微生物检测方法的训练步骤中，与所述类别的分类独立地， 优选地采集所述培养基区域内的噪声点上的噪声数据。在所述识别步骤，基于 所述噪声数据，优选地辨别属于所述微生物类的检查点是否是噪声点。优选地 基于已经辨别为不是噪声点的检查点识别菌落。

根据这个方案，噪声数据是在所述训练步骤采集的。在所述识别步骤，基 于所述噪声数据辨别属于所述微生物类的检查点是否是噪声点。基于已经辨别 为不是噪声点的检查点，识别菌落。因此可以避免将所述培养基区域内的噪声 点检测成微生物点。

在上文描述的微生物检测方法的识别步骤中，优选地将所述培养基区域分 成外围区域和中心区域，所述识别优选地使用所述培养基的中心区域作为检查 对象区域来进行，并且优选地基于颜色边缘检测检测到的颜色边缘来检测所述 外围区域的菌落。

根据这个方案，在所述培养基的中心区域内基于判定所述特征向量所规定 的检查点是否属于所述类别来检测菌落。另一方面，在所述培养基的外围区域 内，基于颜色边缘检测检测的颜色边缘，检测菌落。因此可以在所述培养基区 域内的整个区域精确地检测菌落。

在上文描述的微生物检测方法的训练步骤中，优选地是用在从培养开始直 到产生菌落之前的预定周期期间的所述检测对象作为学习对象，目的是训练所 述分类器来学习培养基点，从而归类出培养基类别。在所述识别步骤，优选地 是使用在所述预定周期之后的检查对象的彩色图像。

根据这个方案，用在从培养开始直到产生菌落的预定周期期间的所述检查 对象作为训练期间的学习对象。在识别时，使用预定周期之后所述检查对象的 彩色图像。通过使用所述检查对象进行训练，可以提高检测精度，以比较有效 的方式进行训练和识别。

为了实现前述目的，根据本发明第二方面，提供一种用于检查培养基中存 在或不存在培养的微生物菌落的微生物检测设备。该设备包括训练装置和识别 装置。所述训练装置捕获培养基区域内有无微生物菌落的学习对象的彩色图 像，设置至少一部分培养基区域为所捕获到的彩色图像内的训练对象区域，获 得所述训练对象区域内的培养基点和微生物点中任何一个或者两者的颜色数 据作为学习数据，具有分类器，并将所述学习数据提供给所述分类器以获得所 述颜色数据的特征向量。所述分类器分离所述特征向量所规定的点集合，以归 类出培养基类别和微生物类别中的至少一类。所述识别装置将与捕获到的检查 对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检 查点的颜色数据提供给所述训练过的分类器，以检查培养基区域内存在或不存 在微生物菌落，从而获得所述颜色数据的特征向量，所述分类器判定所述特征 向量所规定的点属于所述训练装置中所分的类别中的哪一类，并且基于所述判 定结果识别菌落。

根据这个方案，可以与上述微生物检测方法获得同样的效果。

为了达到前述目标，根据本发明第三方面，提供一种用于使计算机执行用 于检测培养基中培养的微生物菌落的微生物检测过程的程序。该程序使计算机 执行训练步骤和识别步骤。所述训练步骤包括捕获培养基区域内有无微生物菌 落的学习对象的彩色图像，设置至少一部分培养基区域为所述捕获到的彩色图 像内的训练对象区域；获得所述训练对象区域内的培养基点和微生物点中任何 一个或者两者的颜色数据作为学习数据；将所述学习数据提供给分类器以获得 所述颜色数据的特征向量；所述分类器将所述特征向量所规定的点集合分离， 以分类成培养基类别和微生物类别中的至少一种。所述识别步骤包括：将与捕 获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域 内的每个检查点的颜色数据提供给所述训练过的分类器，以检查所述培养基区 域内存在或不存在微生物菌落，从而获得所述颜色数据的特征向量；

所述分类器判定所述特征向量所规定的点属于所述训练步骤中所分的类 别中的哪一类；基于所述判定结果识别菌落。

根据这个方案，计算机执行所述训练步骤和识别步骤。因此，可以与上述 微生物检测方法获得同样的效果。

在上面描述的微生物检测方法的识别步骤中，优选地判定与含有判定属于 所述微生物类的一系列检查点的闭合区域对应的候选菌落的面积。当所述面积 满足根据微生物种类所限定的面积条件时，优选地识别出所述候选菌落为菌 落。

在上面描述的微生物检测方法的训练步骤和识别步骤中，优选地至少将所 述颜色数据和形状数据提供给所述分类器。在所述训练步骤，所述菌落的颜色 数据和形状数据优选地作为学习数据提供给所述分类器，以获得所述颜色数据 和形状数据的特征向量，所述菌落类别优选地由所述分类器通过分离所述特征 向量所规定的点集合来分类。在所述识别步骤，所述检查点优选的是所述检查 对象区域内用颜色辨别的区域所表示的候选菌落点，所述候选菌落点的颜色数 据和形状数据优选的是提供给所述训练过的分类器，以获得所述颜色数据和形 状数据的特征向量，优选地由所述分类器确定所述特征向量所规定的点是否属 于菌落类，并基于所述确定结果优选地识别出菌落。

在上文描述的微生物检测方法中，所述分类器优选地包括基于核心方法的 支持向量机、神经网络和高斯混合模型其中的至少一个。

在上文描述的微生物检测方法中，所述分类器优选的是基于核方法的支持 向量机。在所述训练步骤，通过优选地使用所述分类器的映射区根据核方法将 培养基点和微生物点其中一个或者两者的颜色数据的特征向量映射在高维特 征空间，获得高维特征向量，所述高维特征向量所规定的点集合优选地是由所 述分类器线性分离，以归类出培养基类别和微生物类别其中的至少一类。在所 述识别步骤，优选地通过使用所述分类器的映射部，根据核方法，将所述检查 点的颜色数据的特征向量映射到高维特征空间，获得高维特征向量，优选地由 所述分类器判定所述高维特征向量所规定的点属于所述训练步骤中所分类别 中的哪一类，并基于所述判定结果，优选地识别菌落。

根据这个方法，通过将所述点用核方法映射到高维特征空间所获得的高维 特征向量所规定的点集合是可线性分离的。因此可以适当进行分类，精确检测 微生物。

上面描述的微生物检测设备优选地包括用于获得彩色图像的图像捕获装 置和通知装置，当所述识别装置识别出菌落时，所述通知装置发布检测到菌落 的通知。

附图说明

图1所示为根据本发明第一实施例的检查系统的示意平面视图；

图2所示为检查设备的电构造的方块图；

图3是检查设备的示意性正视图；

图4是描绘分类器功能的图形；

图5(a)至5(d)所示为样品在不同阶段的示意图；

图6是描绘分类器的训练的图形；

图7(a)和7(b)是描绘分类器的微生物识别的图形；

图8(a)和8(b)所示为检测处理装置所检测到的细菌数的图形；

图9所示为微生物检测处理过程的流程图；

图10所示为训练处理过程的流程图；

图11所示为识别处理过程的流程图；

图12是描绘根据本发明第二实施例的训练和识别的图形；

图13是描绘根据本发明第三实施例的训练和识别的图形。

具体实施方式

(第一实施例)

下面参考图1至11描述根据本发明的一个实施例。

如图1所示，微生物检查系统(下文简单地称作“检查系统11”)包括用 壁部12围起来的恒温室13。恒温室13内的温度用空调14保持在一个预定的 温度。检查系统11，在图1右下方部分的恒温室13内包括送料搁板搁架15、 排放搁架16和排放搁架17。示例的检查对象样品S(例如，含有培养基的陪 替氏培养皿)从送料搁架15送到恒温室13中。从恒温室13，具有正常的检查 结果的样品S通过排放搁架16排放，具有劣质的检查结果的样品S通过排放 搁架17排放。恒温室13包括多个储存搁架18、用于检查样品S的微生物检查 装置(在下文中简单地称作为“检查设备19”)和搬运机械手20。送入恒温 室13中的样品S储存在每个储存搁架18中以进行培养。搬运机械手20在搁 架15至18与检查设备19之间搬运样品S。搁架15至17分别包括将恒温室 13的内部和外部连接起来的传送器15a至17a。当送给样品S和排放样品S时， 分别设置在传送器15a至17a的外边缘和中间的双开闭器21和22按顺序一个 接一个打开，从而防止微生物之类从外面进入到恒温室13内。

搬运机械手20包括设置在恒温室13地板上的转动主体20a和从主体20a 上延伸、具有多个接合点的臂部20b。样品S被臂部20b末端的卡头构件20c 牢固地抓着，在每个搁架15至18和检查设备19之间进行搬运。

检查设备19包括让样品S放置于其上的检查工作台23和捕获检查工作台 23上的样品S的图像的相机24。在一个培养周期，用检查设备19定期检查储 存在储存搁架18中的样品S。检查设备19，基于相机24捕获到的样品S的彩 色图像，检测样品S的培养基中的菌落。完成预定的培养周期而没有可检测到 菌落的样品S通过排放搁架16排放，是正常样品。另一方面，具有可检测菌 落的样品S通过排放搁架17排放，是劣质样品。

检查系统11，在恒温室13外面，包括控制器25和个人计算机26。控制 器25控制空调14、搬运机械手20、传送器15a至17a、开闭器21和22之类。 个人计算机26，它是检查设备19的一部分，接收相机24捕获到的样品S的彩 色图像数据。个人计算机26执行微生物检测过程，其中通过用某个算法、使 用颜色数据辨别样品S中的培养基和微生物来检测菌落。

如图3所示，检查设备19包括检查工作台23、照亮检查工作台23上的样 品S的圆形光源28、反射板29、捕获检查工作台23上的样品S的图像的相机 24、和微生物检测处理装置(在下文中简单地称作“检测处理装置40”)。反 射板29和光源28设置在检查工作台23的对侧。检测处理装置40建在个人计 算机26的主体31内，相机24将图像数据发送给个人计算机26。

检查工作台23是由透光材料制成，比如玻璃。检查工作台23由图中未示 出的支撑构件可移动地支撑着。光源28是圆形，设置在相机24和检查工作台 23之间。光源28的中心轴线对应于相机24的光轴线。相机24通过光源28的 开口捕获检查工作台23上的整个样品S的图像。反射板29例如是由散射板形 成。反射板29反射来自光源28的光，成为散射光。因此，相机24可以只捕 获检查工作台23上的样品S的图像。

样品S是含有培养基M(琼脂培养基之类)的陪替氏培养皿35(例如，玻 璃陪替氏培养皿)。包括有覆盖培养皿35a的盖子35b的陪替氏培养皿35倒置 放在检查工作台23上，使得盖子35b相对地朝向相机24。这是为了防止去掉 盖子35b时，恒温室13内微生物污染培养基M。假设恒温室13内的洁净度足 够高，在检查时可以去掉盖子35b。

培养皿35a包含有含有一定比例的检查对象(液体饮料)的培养基M。在 预定的温度条件下，在恒温室13内对陪替氏培养皿35中的培养基M培养一个 预定的培养周期。检查设备19在培养开始时和在培养周期内的多个预定时间 检查陪替氏培养皿35。当搬运机械手20重复地将陪替氏培养皿35移动到检查 工作台23上时，检查工作台23上的陪替氏培养皿35的位置会从其原始位置 移动几毫米至大约1厘米，陪替氏培养皿35的角度会移动几度至大约30度。

相机24是具有R(红色)、G(绿色)和B(蓝色)三个成像元件36的 三芯片彩色相机。成像元件36可以是CCD(电荷耦合元件)图像传感器或者 CMOS图像传感器之类。相机24包括具有自动聚焦(autofocus)功能和缩放功 能的透镜单元37。相机24以预定的放大率捕获检查工作台23上的样品S(陪 替氏培养皿35)的图像。透过透镜单元37进入相机24的光线被二向色镜或者 二向棱镜(图中未示)分成三原色光RGB。分开后的RGB光分别在各成像元 件36处接收。相机24可以是单芯片彩色相机。

个人计算机26包括主体31、具有鼠标32m和键盘32k的输入操作部32 和监视器33(显示器)。相机24连接在主体31上。相机24中的各成像元件 36生成的模拟信号在相机24内被进行A/D转换，然后送到主体31作为RGB 彩色图像数据。主体31中的检测处理装置40基于相机24输送的样品S的彩 色图像数据来检测培养基M中的菌落。检测处理装置40相当于根据本发明的 微生物检测设备。

主体31包括含有CPU(中央处理单元)和存储器(例如，RAM)的微机 (下文简单地称作“计算机38”)(见图2)。主体31中的存储器存储从CD-ROM 之类的存储介质安装的微生物检测过程的程序。计算机38用作执行从存储器 中读出的程序的检测处理装置40。在下文更详细地描述检测处理装置40的微 生物检测过程。

如图2所示，主体31中的计算机38连接至相机24和光源28。计算机38 控制相机24的图像捕获(聚焦控制、缩放控制之类)和光源28的照明。计算 机38还连接至输入操作部32和监视器33。计算机38将输入操作部32输入的 各种设置数据存储到存储器42中，并将样品S的图像或者菌落的检测结果显 示在监视器33上。

在图2中，检测处理装置40中所示的各功能块是在计算机38运行所述检 测过程程序时实现的。检测处理装置40包括控制部41、存储器42、输入数据 生成部43、分类器45、训练处理部46和识别处理部47。

控制部41控制整个检测过程，并将设置数据存储在存储器42中。控制部 41将相机24捕获的样品S的图像和菌落检测结果显示在监视器33上。控制部 41将设置屏显示在监视器33上。操作人员操作输入操作部32以输入各种设置 数据，比如培养周期、训练周期(学习周期)、识别周期(检查周期)、学习 间期(学习采样期间)、识别间期(识别采样期间)、存在或不存在噪声采集、 阈值设置距离、存在或不存在最外围检测、存在或不存在辨别(discrimination)、 菌落识别条件(面积条件或者直径条件)之类，从而将它们存储在存储器42 中。存储器42可以是硬盘或者RAM的局部存储区域。

控制部41具有计时器41a。计时器41a测量从开始培养到结束培养周期的 时间长度。培养周期可以分成“训练周期”和“识别周期”，“训练周期”是 从培养开始直到预定的时间，“识别周期”是在所述预定的时间之后直到培养 周期结束。培养周期根据各种检测对象微生物来确定，例如定为10至30小时 内的范围(例如，18小时)。控制部41基于计时器41a测量的时间理解它是 在训练周期或者识别周期、已经到了学习或者检查采样周期、培养周期已经结 束之类。

输入数据生成部43从相机24输入的彩色图像数据(输入图像)获得待提 供给分类器45的输入数据。输入数据含有至少颜色数据。具体而言，输入数 据生成部43为从相机24输入的彩色图像数据中的一个定义好的范围内的每个 像素获得色彩数据(RGB梯度值)。颜色数据提供为具有256个梯度的R、G、 B梯度值。色彩数据的梯度数目可以适当改变。

分类器45是由选自基于核方法(Kernel method)的支持向量机(SVM)、 神经网络(MLP：多层感知)和高斯混合模型(GMM)中的至少一个算法所 形成的。分类器45包括SVM、MLP和GMM中的两种或者三种。操作人员可 以手动选择SVM、MLP和/或GMM，或者检测处理装置40可以从SVM、MLP 和GMM中自动选择一个适用于检测对象的。

分类器45包括特征提取部51、映射部52、线性分离部53和判定部54(识 别部)。特征提取部51是由上面描述的SVM、MLP和GMM中的至少一个已 知函数算法形成。特征提取部51按照所述函数算法，用输入数据生成部43的 输入数据的输入变量进行特征提取计算，从而形成特征向量(特征向量数据) x。当使用像素的色彩数据(RGB梯度值)时，用含有三色RGB的特征向量分 量(xr，xg，xb)来表示特征向量x。特征向量x可以是RGB色彩与非RGB 色彩空间(例如，HSV色彩空间)的至少一部分色彩空间的色彩分量数据的组 合。在接下来的描述中，假设色彩数据是具有RGB梯度值的三维数据。

当分类器45是支持向量机(SVM)时，提供映射部52。映射部52根据基 于核方法的计算算法将从特征提取部51发送的特征向量所规定的输入点x映 射到高维特征空间。然后映射部52形成高维特征向量(高维特征向量数据)， 并输出由高维特征向量规定的输出点(映射点)ψ(x)。在接下来的描述中， 假设分类器45是基于核方法的支持向量机(SVM)。

图4是描绘从输入空间(特征空间)到高维特征空间映射的图形。图4中 的左图所示为含有由特征向量所规定的输入点x＝(xr，xg，xb)的输入空间。 图4中的右图所示为含有由高维特征向量所规定的输出点(映射点)ψ(x)(＝ ψ(xr，xg，xb))的高维特征空间。在图4中，为了方便解释SVM的特征， 在输入空间内示出培养基的输入点x1(培养基点)和微生物的输入点x2(微 生物点)。输入点x具有含有颜色特征量(xr，xq，xb)的三维数据。为了便 于解释，在图4中所示的输入空间(特征空间)是二维空间，在两个坐标轴上 有两个颜色R和G的颜色特征量。

输入空间中的三维输入点x1和x2被映射在高维空间上，映射部52向该 高维空间加了额外的维度，并作为由高维特征向量所规定的输出点ψ(xr，xg， xb)被输出。输出点ψ(xr，xg，xb，...)是n维(n＞3)特征向量数据，并含有 n个分量(ψxr，ψxg，ψxb，...)。(xr，xq，xb)和(ψxr，ψxg，ψxb，...) 是向量终点的坐标。

在图4所示的输入空间中，培养基点x1的集合和微生物点x2的集合不可 线性分离。但是，在所映射的高维特征空间内，从培养基点x1映射的点集合ψ (x1)和从微生物点x2映射的点集合ψ(x2)是可由边际最大化(margin  maximization)规定的超平面线性分离的。但是，在第一实施例中，输入点x 只是培养基点x1，因此，只有培养基类别C1由超平面归类出，该超平面不是 由边际最大化所定义而是由阈值所定义，所述阈值是点集合ψ(x1)向外的预定 距离(阈值设置距离ΔL)(参见图6)。

线性分离部53用超平面(分离平面)将点集合ψ(x)线性分离，点集合 ψ(x)是在训练周期获得的培养基点集合ψ(x1)，或者是微生物点集合ψ(x2)， 或者是两者。线性分离部53归类出培养基类别C1和微生物类别C2中至少一 个类别C。

如图6所示，在当前示例中，其中只用培养基的颜色数据的学习数据训练 分类器45，输入点只是所述输入空间所示的培养基点x1，培养基点集合ψ(x1) 只是形成在输入点所映射的高维特征空间中。线性分离部53用超平面将点集 合ψ(x1)线性分离，并只按颜色分类出培养基类别C1。当只分一类时，存储 器42存储阈值设置距离ΔL数据，作为定义超平面的设置数据。线性分离部 53在与点集合ψ(x1)(例如，作为支持向量的多个点)中的最外点向外ΔL 距离处设置阈值。因此，定义了图6中所示的超平面，线性分离部53因此进 行颜色分类出培养基类别C1。当只分一类时，分类器45是由基于核方法的支 持向量机(SVM)、和高斯混合模型(GMM)中的至少一个形成。

使用图2中所示的判定部54(识别部)以在识别周期期间识别检查点所属 的类别。图2中所示的训练处理部46包括作为训练分类器45的必要构造的训 练控制部56、培养基区域检测部57和噪声采集部58。训练控制部56提供训 练所必需的设置数据和各种指令给分类器45，并提供训练所必需的指令给培养 基区域检测部57和噪声采集部58。训练装置是由训练处理部46和分类器45 形成。

现在描述相机24捕获的样品S的图像。图5(a)至5(d)所示为在培养 周期期间相机24所捕获到的样品的图像。图5(a)所示为训练期间的图像， 图5(b)是识别开始时的图像，图5(c)是识别期间有菌落产生时的图像，图 5(d)是通过将相机捕获的图像叠加到菌落检测结果上所获得的在监视器33 上显示的图像。图5(a)中示例的培养基M含有噪声N，该噪声是检查对象 (液体饮料)中的不溶性固体成分。当检查对象是含有水果的液体饮料时，例 如含在其中的小固形物，比如果皮、果肉、纤维、种子之类会是导致菌落误检 的噪声N。

培养基区域检测部57检测样品图像内培养基M中的区域(在下文称作“培 养基区域MA”)，并且还检测培养基区域MA内的训练局部区域TA(参见 图5(a))。训练局部区域TA是训练对象区域，分类器45使用它来学习培 养基M的颜色。在当前示例中，为了减轻训练过程的负荷，选择培养基区域 MA的一部分区域作为训练局部区域TA。具体而言，培养基区域检测部57通 过图像处理从培养基区域MA分出陪替氏培养皿35中的一区域，并且进一步 检测出培养基区域MA中没有噪声N的局部区域，然后将这个局部区域设置为 训练局部区域TA。通过利用噪声N和培养基M之间的颜色差异，检测具有不 同颜色的区域之间的边界为颜色边缘。操作人员可以通过操作输入操作区域32 手动设置训练局部区域TA。可以适当选择训练局部区域TA的数量和形状。

噪声采集部58采集噪声数据。噪声数据用于位置辨别，其中噪声和菌落 基于它们的位置来辨别。噪声采集部58通过使用颜色边缘检测在训练周期期 间检测噪声N，或者利用分类器45。噪声采集部58然后采集含有检测到的噪 声N的位置的噪声数据。例如，当使用分类器45时，在训练局部区域TA上 至少训练一次之后，归类出培养基类别C1，然后噪声采集部58将培养基区域 MA中的每个像素的输入数据输入到分类器45中，并识别点集合x中或者作为 输出点获得的点集合ψ(x)中不属于培养基类别C1的噪声点。然后噪声采集 部58获得噪声区域(该噪声区域是含有一系列噪声点的闭合区域)，并在该 噪声区域中的位置上进行计算，以获得噪声数据。噪声数据会含有噪声区域的 面积和灰度值。

在识别周期，识别处理部47判定特征提取部51基于培养基M上各点的输 入数据所形成的检查点xj(在GMM的情况下)或者通过映射部52映射检查 点xj所获得的映射点ψ(xj)(在SVM的情况下)是否属于所述类。识别处 理部47，基于该判定结果，识别检查点xj是培养基点还是微生物点。识别处 理部47进一步提取含有一系列识别出为微生物点的点(像素)的闭合区域。 然后识别处理部47根据各种判定条件识别所述闭合区域是否是微生物菌落。 为了进行这样的识别过程，识别处理部47包括识别控制部61、培养基区域划 分部62、最外围检测部63、辨别部64、标记部65和菌落检测部66。所述识 别装置是由识别处理部47和分类器45形成，分类器45是训练过的(学习之 后的)。

当进行识别过程时，识别控制部61给分类器45和62至66的每个部提供 指令。当设置是“具有”最外围检测时，启动培养基区域划分部62。在这种情 况下，如图5(b)所示，培养基区域划分部62将图像内的培养基区域MA分 成中心主区域A1(中心区域)和最外围局部区域A2(外围区域)。中心区域 可以与外围区域部分地重叠。

当计时器41a所测量的时间是在训练周期内时，控制部41启动训练处理部 46，以训练分类器45。当所测量的时间是在识别周期(检查周期)内时，控制 部41启动识别处理部47，并在训练之后用分类器45进行检查。

在当前实施例中，使用分类器45的微生物检测过程是在主区域A1上进行 的。分类器45中的特征提取过程是由特征提取部51根据与训练期间所用的算 法类似的算法来进行的。即，相机24的图像数据中的主区域A1内的所有像素 的输入数据是逐个像素按顺序从输入数据生成部43输入到分类器45中的。特 征提取部51根据算法，基于输入数据，形成特征向量xj(检查点)。当分类 器45是SVM时，映射部52将特征向量所规定的检查点xj映射到高维特征空 间上，形成高维特征向量ψ(xj)。然后分类器45中的判定部54判定所述特 征向量所规定的点xj或者点ψ(xj)是否属于分类器45在训练期间所分的类别 C(在当前实施例中是培养基类别C1)，并基于判定结果判定检查点xj是培养 基点还是微生物点。

图7是分类器是SVM时的示例，并且图示了判定部54进行的判定方法。 如图7(a)所示，当映射在高维特征空间上的点ψ(xj)(j＝1，2，...)属于 培养基类别C1时，判定部54判定检查点xj是培养基点。另一方面，如图7(b) 所示，当点ψ(xj)不属于培养基类别C1时，判定部54判定检查点xj是微生 物点。在这个阶段，所述微生物点有可能是噪声。

图2中所示的最外围检测部63通过使用与主区域A1所用的方法不同的方 法在最外围区域A2中进行微生物检测。这是因为，在所述培养基区域MA的 最外围附近的环形区域对应于例如培养基M的颜色受陪替氏培养皿35的侧壁 折射的光或者侧壁的阴影影响的区域。因此，最外围检测部63进行颜色边缘 检测，目的是检测最外围局部区域A2内具有不同颜色的区域之间的边界(颜 色边缘)。然后，最外围检测部63在所述颜色边缘所围绕的区域进行形态学 操作，并获得形状由此被规定的候选菌落。

当设置(setting)是“有”辨别时，启动辨别部64。辨别部64进行形状辨 别、颜色辨别和位置辨别，目的是从确定为含有在主区域A1内检测到的一系 列微生物点的闭合区域的检测到的对象(候选菌落)和在最外围局部区域A2 内检测的检测到的对象(候选菌落)中辨别菌落而非噪声N。根据形状辨别， 判定通过特征提取之类所获得的检测到的对象的特征，比如面积、圆形度、凸 性、最小外接圆之类是否满足预先设置或者学习的菌落形状条件。辨别部64 将满足上述形状条件的检测对象辨别为菌落。根据颜色辨别，分别为检测到的 对象和培养基区域计算某个色度的度数，判定它们之间的色度之差是否在预定 的阈值或者比预定的阈值高。辨别部64将色度差为阈值或者高于阈值的检测 到的对象辨别为菌落。在检测到的对象上逐个像素进行颜色辨别。根据位置辨 别，基于训练步骤采集的噪声数据，通过比较噪声的位置和检测到的对象的位 置辨别菌落。当检测到对象与噪声重叠，对位置辨别造成辨别困难时，用检测 到的对象的面积和灰度值进行位置辨别。

标记部65进行标记操作，其中对主区域A1内和最外围局部区域A2内检 测或者辨别为菌落的对象进行标记。对检测或者辨别为不对应于噪声N的检测 到的对象进行标记，但是对检测或者确定为噪声N的检测到的对象不进行标记。

菌落检测部66判定标记的检测到的对象的面积是否满足预定的面积条件， 并将满足面积条件的检测到的对象检测为菌落。例如，当检测到的对象的面积 Sd满足下限S_lower和上限S_upper限定的面积条件S_lower≤Sd≤S_upper时，检测到的 对象被检测出为菌落。所述面积条件可以是下限或者上限其中的一个。

控制部41将从识别处理部47获得的菌落检测结果显示在监视器33上。 当没有检测到菌落时，所检测的菌落数显示为“0”。当检测到任意菌落时， 对所检测到的菌落数进行显示。另外，如图5(d)所示，围绕检测到的菌落的 标记70叠加在培养基M的图像上。

现在参考图9至11的流程图描述计算机38中的微生物检测过程。微生物 检测过程是由图2所示的检测处理装置40用软件进行的。

如图9所示，在开始培养之前，操作人员通过操作输入操作部32，首先在 个人计算机26上输入设置值，比如存在或不存在噪声采集、阈值设置的距离、 存在或不存在最外围检测、存在或不存在辨别、面积条件之类。所输入的各种 设置值存储在存储器42中。当操作人员通过使用输入操作部32启动检查时， 计算机38(检测处理装置40)启动微生物检测过程。

在步骤S10，计算机38从存储器42中读出设置值，比如存在或不存在噪 声采集、阈值设置的距离、存在或不存在最外围检测、存在或不存在辨别、面 积条件之类。

在步骤S20，在训练周期，计算机38使分类器45通过使用相机24捕获到 的培养基M的图像至少学习培养基的颜色。步骤S20中的训练过程对应于所述 训练步骤。

在步骤S30，在识别周期，计算机38执行识别过程，目的是识别培养基区 域内存在或不存在菌落。步骤S30内的识别过程对应于所述识别步骤。

计算机38在S20的训练过程中执行图10所示的训练处理过程，在S30的 识别过程中执行图11所示的识别处理过程。通过下面图10和11中的流程图， 分别详细描述所述训练过程和识别过程。训练处理部46基于相机24所捕获到 的图像数据，使用输入数据生成部43和分类器45执行训练过程。

在图10的步骤S110中，用相机24照取一至十例如五个含有检查对象(培 养基M)的陪替氏培养皿35的图像。

在步骤S120，基于捕获到的图像数据来检测培养基区域MA((参见图5 (a))。

在步骤S130中，在培养基区域MA中设置训练局部区域TA(参见图5(a))。 例如，在培养基区域MA中搜索噪声N之后，没有噪声N的区域被设置成训 练局部区域TA。

在步骤S140，在训练局部区域TA上，用学习算法训练分类器45。具体而 言，图2所示的输入数据生成部43为所述训练局部区域TA内的每个像素生成 含有颜色数据的输入数据。然后输入数据生成部43逐次将输入数据作为学习 数据发送到分类器45。分类器45中的特征提取部51基于输入数据根据算法形 成特征向量x1。当分类器45是SVM时，如图6所示，特征向量所规定的培养 基点x1由映射部52逐次映射在所述高维特征空间上。因此获得点集合ψ(x1)， 它由映射的高维特征向量所规定。阈值设置为在一个位置的超平面，所述位置 在点集合ψ(x1)向外所述阈值设置的距离ΔL处。所述超平面将所述高维特征空 间线性分离，用颜色归类出培养基类别C1。

在步骤S150，判定存在或不存在噪声采集。当设置是“有”噪声采集时， 所述过程进行到步骤S160；当所述设置是“无”噪声采集时，进行到步骤S170。

在步骤S160，采集噪声数据。噪声采集部58检测培养基区域MA中的颜 色边缘，并检测颜色边缘中具有与培养基M的色调不同的色调的区域为噪声N。 噪声采集部58计算检测到的噪声N的位置，生成至少含有位置数据的噪声数 据，并将它存储在存储器42中。

在步骤S170中，判定存在或不存在额外的训练。在训练周期，可以根据 需要进行多次的训练，额外的训练会增加学习数据。允许添加学习数据的周期 (预定时间)可以是产生微生物之前的任何适当值。当进行额外的训练时所述 过程返回到S110，并且在学习采样间隔之后在进行下一次训练时再次将样品S 搬运到检查工作台23。然后类似地用相机24捕获到的样品S的图像数据执行 S110至S170的步骤。当没有额外的训练时，完成训练处理过程。

在训练周期期间进行训练过程，训练周期从培养开始(时间0)直到预定 时间(例如，5小时)，以学习采样间隔(例如，每30分钟或者1小时)。因 为有这个训练，分类器45归类出培养基类别C1。为了这么做，例如，在训练 周期期间学习培养基M的颜色的变化。另外，由于液体饮料中诸如乳化铁之类 金属成分的氧化而产生的沉积物(氧化铁之类)的数据，也作为噪声N采集。

当计时器41a所测量的时间是在预定时间(例如，5小时)之后时，所述 过程从训练周期切换到识别周期。然后计算机38启动图11所示的识别处理过 程，其中识别处理部47使用输入数据生成部43和分类器45执行识别过程。

如图11所示，在步骤S210，相机24捕获的图像数目与在训练含有检查对 象(培养基M)的陪替氏培养皿35期间捕获的图像数目相同。

在接下来的步骤S220中，基于捕获到的图像数据检测培养基区域MA。

在步骤S230中，在培养基区域MA内设置主区域A1和最外围局部区域 A2。

在步骤S240，根据查找表(LUT)进行亮度转换。在进行亮度转换时，进 行对比度调节、伽玛值校正之类。

在接下来的步骤S250，分类器45使用学习算法从主区域A1检测微生物 点。具体而言，图2所示的输入数据生成部43为主区域A1内的每个像素生成 含有颜色数据的输入数据，然后将它们逐次发送到分类器45。分类器45中的 特征提取部51基于输入数据形成特征向量xj(j＝1，2，...)(检查点)。当分 类器45是SVM时，图6中所示的特征向量所规定的检查点xj由映射部52逐 次映射到高维特征空间。然后获得高维特征向量规定的映射点ψ(xj)(参见 图7)。如图7(a)所示，当映射点ψ(xj)属于培养基类别C1时，判定(识 别)检查点xj为培养基点。另一方面，如图7(b)所示，当映射点ψ(xj)不 属于培养基类别C1时，判定(识别)检查点为微生物点。如图5(c)所示， 在进入识别步骤之后3到5个小时，例如，会产生菌落CL。在这种情况下， 通过映射基于菌落CL中的像素的输入数据的检查点xj所获得的点ψ(xj)(在 SVM情况下)不属于图7(b)所示的培养基类别C1，并被检测为微生物点。 为主区域A1中的所有像素执行这样的检测过程。

在步骤S260，判定存在或不存在最外围检测。当设置是“有”最外围检测 时，所述过程进行到步骤S270，当设置是“无”最外围检测时，所述过程进行 到步骤S290。

在步骤S270，在最外围局部区域A2检测颜色边缘，基于与培养基的色调 差异检测所述菌落区域。所述菌落区域是检测到的对象的区域(候选菌落)， 其可能是噪声区域。

在接下来的步骤S280，通过区域形态学操作，将检测到的对象的形状调节 成，例如圆形或者椭圆形。

在步骤S290，判定存在或不存在辨别过程。当设置是“有”辨别过程时， 所述过程进行到步骤S300，当设置是“无”辨别过程时，所述过程进行到步骤 S310。

在步骤S300，基于形状、颜色和位置辨别检测到的对象。对主区域A1和 最外围区域A2的检测结果进行整合。在所述整合结果的基础上，对含有一系 列微生物点的闭合区域进行特征提取，并且对检测到的对象(候选菌落)进行。 根据形状辨别，计算检测到的对象的面积、圆形度、凸性、最小外接圆之类。 具有满足菌落形状条件的提取的特征量的检测到对象被辨别为候选菌落。根据 颜色辨别，分别为检测到的对象和培养基区域计算某个色度的程度。检测到的 对象和培养基区域之间的色度差是在预定的阈值或者高于预定的阈值的检测 到的对象被辨别为候选菌落。根据位置辨别，对由从存储器42读出的噪声数 据确定的噪声位置和检测到的对象的计算出位置进行比较。不与噪声重叠的检 测到的对象被辨别为候选菌落。当检测到的对象与噪声重叠，使位置辨别难以 进行辨别时，用检测到的对象的面积和灰度值来辨别候选菌落。根据所述辨别 步骤，检测到的对象之间的噪声N等不辨别成菌落，使得检测到的对象(候选 菌落)进一步窄化。

在步骤S310，标记已经检测出的或者辨别开的检测到的对象。即，整合主 区域A1和最外围局部区域A2的检测结果，并标记在培养基区域MA的整个 区域检测到出或者辨别开的所有检测到的对象。当已经执行了S300的辨别过 程时，从标记中排除在辨别过程中辨别出为噪声的检测到的对象。

在步骤S320中，基于面积条件，判定检测到的对象是否是菌落。菌落检 测部66检查标记的检测到的对象的面积是否满足从存储器42读出的面积条 件。当检测到的对象的面积Sd满足面积条件S_lower≤Sd≤S_upper时，判定检测到 的对象为菌落CL。

在步骤S330，在监视器33上显示菌落检测结果，并根据菌落检测结果发 送控制信号。即，当从识别处理部47输送的菌落检测结果是检测到的数目“0” 时，控制部41在监视器33上显示检测到的菌落数为“0”。另一方面，当菌 落检测结果是检测到的数目“N”(N≥1)时，控制部41将检测到的菌落数 “N”显示在监视器33上，并将围绕检测到的菌落CL的标记70叠加在显示 在监视器33上的样品S的图像上，如图5(d)所示。如果显示了标记70，在 恒温室13外面看监视器33的操作人员可以容易地了解被检查的样品S中的菌 落繁殖状态。控制部41的控制信号被发送到控制器25。当检测到的菌落数是 “N”(N≥1)时，当检测出菌落时停止检查，控制部41发送控制信号给控 制器25以排放样品S。结果是，控制器25控制搬运机械手20将判定为劣质样 品的样品S搬运到排放搁架17，并驱动传送器17a将样品S排放到恒温室外。 另一方面，当菌落的检测结果是检测数“0”时，将样品S返回到储存搁架18。 在培养周期过后没有检测到菌落的样品S被搬运机械手20搬运到排放搁架16， 是正常样品，并由传送器16a排放到恒温室外面。

现有技术中，在培养周期过后进行检查，对于每批最多检测到一个菌落的 饮料必须中止生产。根据当前实施例的检查设备19，在培养周期期间可以检测 到菌落，当检测到菌落时，可以早些中止饮料的生产。因此，可以将劣质饮料 产品的数量减到尽可能低。

图8所示为比较检测到的细菌数、实际检测到的细菌数和用检查设备19 检查样品S时目测到的细菌数。大肠杆菌加到含有样品液体饮料的培养基M中， 培养18小时。水平轴表示开始培养之后过去的时间(hr)，垂直轴表示菌落数 目。因为检查对象液体饮料颜色不同，图8(a)和8(b)中的样品S在培养 基中具有不同的颜色。在图中，检测到的细菌数对应于检测处理装置40在常 规时间间隔检测到的细菌数。实际检测到的细菌数对应于在培养周期的每个时 间点实际测量到的包括非常小的菌落的细菌数的实际测量值。目测到的细菌数 是熟练的检查员在常规时间间隔通过目测培养基检测到的细菌数。在图8所示 的示例中，训练周期是从培养开始直到5小时，识别周期(检查周期)是5小 时之后。可从图8(a)和8(b)中的图形看出，在训练周期期间，检测到的细 菌数和实际检测到的细菌数都继续为“0”。在开始培养之后6到8小时，开 始检测到微生物。检测到的细菌数目的变化速度与实际检测到的细菌数的变化 速度几乎相同。这个结果表示检测处理装置40的细菌检测具有高精度，不受 培养基颜色的影响。在识别周期，检测到的细菌数的变化速度比目测的细菌数 高。这个结果表示检查设备19可以比目测更早检测到小菌落。可被检查设备 19检测到的菌落大小是几乎不能被目测检查到的大小，尤其是大约0.008平方 毫米。

如上文详细描述那样，第一实施例具有下列优点。

(1)判定分类器45基于含有颜色数据的输入数据所获得的特征向量所规 定的检查点xj或者映射点ψ(xj)是否属于训练步骤(S20)中用颜色分类的 培养基类别C1。基于判定结果，识别检查点xj是否是菌落。因为这样，可以 精确检测到菌落。例如，甚至当培养基M和菌落CL具有类似颜色时，通过使 用分类器45，它是SVM，培养基和菌落在高维特征空间可线性分离，从而允 许精确检测菌落。因为所述方法的属性是基于颜色特征检测菌落，甚至当检查 工作台23上的陪替氏培养皿35的位置或者角度在训练期间和识别期间之间从 原来一个位置或角度变化时，或者相机24和陪替氏培养皿35的相对位置改变 时，也可以精确检测到菌落。

(2)甚至当菌落的颜色根据微生物种类变化时，例如，大肠杆菌菌落是 淡红色，酵母菌带绿色，通过使用分类器45中同样的算法可以精确检测到微 生物(细菌)菌落。

(3)由乳化铁之类的金属成分的氧化产生的沉积物，有时会呈现出与菌 落类似的颜色。在训练步骤，在开始培养之后产生的沉积物的噪声N的学习数 据等累积起来，并采集沉积物噪声N的噪声数据。在这种情况下，判定沉积物 的检查点之类属于培养基类别C1。即使检测出所述检查点不属于培养基类别 C1，而是检测为可能是菌落的检测到的对象，根据它们的形状、颜色和位置， 可以从检测到的对象中作为噪声排除这些检查点。因此，可以避免沉积物之类 不正确地检测成菌落，从而允许精确检测菌落。

(4)在训练步骤，检查对象(样品S)用作学习对象，选择训练周期为产 生菌落之前的预定周期(从开始培养直到某一时间(比如，5小时))。因为 这样，甚至当训练周期期间培养基M的颜色改变时，产生的颜色被学习成培养 基M的颜色。因此，甚至当培养基的颜色改变时，也可以精确检测菌落。甚至 当因为检查对象饮料有颜色，培养基的颜色根据检查对象而变化时，通过训练， 为每个检查对象学习培养基的颜色，从而允许精确检测菌落。

(5)对于含有检测点xj或者映射点ψ(xj)确定为不属于培养基类别C1 的一系列微生物点的闭合区域，在主区域A1内通过特征提取检测到的或者确 定的检测对象和在最外围局部区域A2内通过颜色边缘检测和区域生态学操作 检测到的或者确定的检测对象整合起来。标记上述检测到的对象，在这些检测 到的对象中，满足所述面积条件的识别为菌落。因此，排除了有可能是噪声的 检测到的对象，从而允许精确检测菌落。

(6)在检查对象含有噪声N(异物)，比如果皮的情况下，通过在辨别步 骤用形状辨别、颜色辨别和位置辨别，辨别检测到的对象中的菌落和噪声。因 为这样，有效防止了不准确地将噪声N检测为菌落。因此，甚至在含有与菌落 类似颜色的果皮或者果泥的培养基中，也能精确检测到培养后的菌落。

(7)在训练步骤，只学习培养基。因此与对菌落进行学习的方法相比， 必要的处理和操作是简单的。在对菌落进行学习的方法中，操作人员需要指定 菌落，在计算机38上输入和指明指定菌落的区域。从这个方面来说，根据当 前实施例的只在培养基M上进行学习的方法，用于指定和输入菌落区域的操作 不是必须的，计算机38可以自动学习。

(8)以直到产生菌落之前的预定时间(例如，5小时)的在选中的培养基 上的训练周期和在所述预定时间之后的用以识别(检测)微生物的识别周期进 行检查。因为可以用检查对象(样品S)进行训练，提高了菌落检测的精度。 在进行菌落学习的方法中，在检查对象(样品S)的培养周期期间不进行训练。 因为这样，会降低菌落检测的精度，因为训练对象与检查对象不同。另外，训 练周期与检查周期分开提供，从而增加了训练和识别所需的时间。从这个方面 来说，根据当前实施例，在菌落生成之前的周期可以用于训练，从而减少了训 练和识别所需的时间。

(9)围绕菌落CL的标记70叠加在显示在监视器33上的样品S的图像上。 因为这样，检测到的菌落是可见地显示的，操作人员可以容易地从视觉上判定 菌落繁殖的状态。

(10)在食品之类的制造场合，需要了解加工的卫生条件，并需要迅速装 货。如上文所描述那样，通过在食品之类的制造场合应用当前实施例的检查设 备19，可以迅速、精确地检测到菌落。因为这样，可以实现对加工的卫生条件 的了理解并提示装货。当微生物检查加快时，可以在早些阶段判断，避免装运 劣质产品。因此，在风险控制方面是非常有用的。

(第二实施例)

现在根据图12描述第二实施例。第二实施例是在训练步骤(S20)对培养 基和微生物(菌落)都进行训练的例子。检查设备19(图1和3)和检测处理 装置40(图2)的构造和微生物检测处理过程(图9至11)中的实质处理基本 上和第一实施例中的相同。

图12描述的是当分类器是SVM时，从输入空间到高维特征空间的映射。 在图12中，培养基x1中的输入点(培养基点)和菌落x2中的输入点(微生 物点)示于输入空间中。如图12所示，由将培养基点x1映射到高维特征空间 获得的特征向量所规定的培养基点集合ψ(x1)和由将输入点x2映射到高维特 征空间获得的特征向量所规定的微生物点集合ψ(x2)是线性可分离的。

线性分离部53用一个超平面将高维特征空间内的培养基点集合ψ(x1)和 微生物点集合ψ(x2)分离，所述超平面设置在使与各支持向量的边缘最大化 的位置(最近点)。因此，归类出培养基类别C1和菌落(微生物)类别C2。

在这种情况下，以与第一实施例相同的方式，在培养基上对分类器45进 行训练。另一方面，在菌落上对分类器45的训练如下。即，使用含有同种菌 落的培养基，操作人员在监视器33上查看培养基M时，通过输入操作部32 指定菌落区域。对分类器45的训练是在指定的菌落区域上进行的。对分类器 45的训练可以是在人工准备的菌落上进行。当对一个以上的类进行分类时，除 了基于核方法的支持向量机(SVM)和高斯混合模型(GMM)之外，分类器 45可以是神经网络(MLP)。

在识别步骤(S30)，像第一实施例一样，图2中所示的输入数据生成部 43为主区域A1中的每个象素生成含有颜色数据的输入数据。然后输入数据生 成部43逐次将输入数据作为学习数据发送到分类器45。分类器45中的特征提 取部51使用输入数据作为输入变量，根据函数算法进行特征提取计算，从而 形成特征向量xj(检查点)。当分类器45是SVM时，映射部52通过将特征 向量xj所规定的检查点xj映射到图12所示的高维特征空间，形成高维特征向 量ψ(x1)。判定部54判定高维特征向量ψ(xj)所规定的点ψ(xj)属于培 养基类别C1或者菌落类别C2中的哪一个，从而检测微生物点。当点ψ(xj) 属于菌落类别C2时，这个点检测为微生物点。图10和11基本上与第一实施 例相同，除了分类器45是在培养基和菌落上进行训练(S140)以及当检查点 xj或者点ψ(xj)属于菌落类别C2时，其被检测为微生物点(S250)。当分类 器45是GMM或者MLP时，不映射到高维特征空间，在S250判定根据所述 GMM或者MLP函数算法由特征提取计算形成的检查点xj是否属于菌落分类。

根据第二实施例，除了第一实施例中的优点(1)、(3)、(5)、(6)、 (9)和(10)之外，还获得下列优点。

(11)在训练步骤，归类出培养基类别C1和菌落类别C2，培养基和菌落 彼此识别开来。因为这样，与第一实施例相比，可以更精确地判定检查点xj 是培养基还是微生物点。因此进一步提高菌落检测精度。

(12)在训练步骤，当分类器45是SVM时，映射部52在高维特征空间 内形成培养基点集合ψ(x1)和菌落点集合ψ(x2)。线性分离部53用超平面 将高维特征空间内的培养基点集合ψ(x1)和菌落点集合ψ(x2)线性分离， 所述超平面将与各支持向量的边缘(距离)最大化。因为这样，将C1和C2这 两类适当地用颜色分类。在识别步骤，判定通过映射检查点xj所获得的高维特 征向量的点ψ(xj)是否属于菌落类别C2，从而增加识别步骤中的菌落的识别 精度。

(第三实施例)

现在参考图13描述第三实施例。在第三实施例中，在训练步骤在培养基 和微生物(菌落)中进行只在微生物上的训练。在这种情况下，以与第二实施 例中分类器45在菌落区域上进行训练的方式类似的方式进行训练。检查设备 19(图1和3)和检测处理装置40(图2)的构造和微生物检测处理过程中的 主要处理(图9至11)基本上和第一实施例中的那些相同。

图13是描述当分类器是SVM时从输入空间到高维特征空间的映射的图 形。在图13中，菌落x2中的输入点(微生物点)示于输入空间内。如图13 所示，通过将微生物点x2映射在高维特征空间上获得的高维特征向量所规定 的微生物点ψ(x2)是由一个超平面分离，该超平面处于点集合ψ(x2)向外 阈值设置距离ΔL处，并藉此归类菌落类别C2。当分一类时，分类器45由基 于核方法的支持向量机(SVM)和高斯混合模型(GMM)中的至少一个形成。

在识别步骤(S30)，像第一实施例一样，图2所示的输入数据生成部43 为主区域A1中的每个像素形成含有颜色数据的输入数据。然后输入数据生成 部43逐次将输入数据作为学习数据发送到分类器45。分类器45中的特征提取 部51根据函数算法使用输入数据作为输入变量进行特征提取计算，从而形成 特征向量xj(检查点)。当分类器45是SVM时，映射部52通过将特征向量 xj规定的检查点xj映射到图13所示的高维特征空间，形成高维特征向量ψ(xj)。 判定部54判定高维特征向量ψ(xj)所规定的点ψ(xj)是否属于菌落类别C2。 当点ψ(xj)属于菌落类别C2时，检测点ψ(xj)被检测为微生物点。图10 和11基本上与第一实施例相同，除了分类器45是在菌落上进行训练(S140) 以及当检查点xj或者点ψ(xj)属于菌落类别C2时这个点被检测为微生物点 (S250)。当分类器45是GMM时，不映射到高维特征空间，在步骤S250判 定(识别)通过根据GMM的函数算法进行特征提取计算所形成的检查点xj是 否属于菌落类。

根据第三实施例，除了第一实施例中的优点(1)、(3)、(5)、(6)、 (9)和(10)之外，还获得下面的优点。

(13)因为菌落类别C2是在训练步骤进行分类，与第一实施例相比，可 以更为精确地判定检查点xj是否是微生物点。因此进一步提高菌落检测精度。

(14)因为在整个培养周期，通过培养学习对象样品S可以在训练步骤预 先学习菌落的颜色变化，甚至在识别步骤中当检查对象样品S中产生菌落的颜 色随着时间改变时，也可以精确识别菌落。

(第四实施例)

在上述实施例中，分类器的输入数据是颜色数据。在当前实施例中，形状 数据加在颜色数据上。例如，细菌菌落(大肠杆菌之类)具有大约为圆形的形 状，比如为圆形和椭圆形，使得它们可以与果皮或者沉积物这样的噪声(异物) 的形状辨别开。修改一个例子可以包括第二实施例，其中除了各培养基和菌落 的颜色数据之外，还将菌落的形状数据作为输入数据发送到分类器45。另一个 修改例可以包括第三实施例，其中除了菌落的颜色数据之外，还将菌落的形状 数据发送到分类器45，作为输入数据。在前一种情况下，分类器45可以是SVM、 MLP和GMM，在后一种情况下，分类器45可以是SVM和GMM。

在训练步骤，操作人员基于含有菌落的培养基M的彩色图像，通过进行输 入操作或者图像处理对菌落进行说明。对识别为菌落的区域的形状进行标准 化，以获得形状数据。含有菌落的颜色数据和形状数据的输入数据从输入数据 生成部43发送到分类器45作为学习数据。分类器45中的特征提取部51根据 函数算法，使用输入数据作为输入变量，进行特征提取计算，从而形成特征向 量x2＝(xr，xg，xb，xshape)(微生物点)。当分类器45是SVM时，映射 部52通过将特征向量所规定的微生物点x2映射到高维特征空间获得高维特征 向量ψ(x2)。线性分离部53在与特征向量的点集合x2向外有一定距离的位 置处(在MLP和GMM的情况下)，或者在与高维特征向量的点集合ψ(x2) (在SVM的情况下)有一个阈值设置值ΔL的距离(预定距离)的位置处定义 阈值作为超平面。所述超平面允许基于颜色和形状特征归类出菌落类别C2。

在识别步骤，通过图像处理，基于颜色辨别培养基及其它(异物，菌落之 类)。在非培养基区域的形状进行计算，对计算出的形状进行标准化，以获得 形状数据。非培养基的区域的颜色数据是通过对所述区域上的像素的颜色进行 平均而获得的。输入数据生成部43为每个区域形成含有颜色数据和形状数据 的输入数据。输入数据生成部43将输入数据作为学习数据发送到分类器45。 分类器45中的特征提取部51根据函数算法，使用输入数据作为输入变量，进 行特征提取计算，形成特征向量xj＝(xr，xg，xb，xshape)(检查点)。

当分类器45是SVM时，映射部52通过将特征向量xj规定的检查点xj映 射到高维特征空间，形成高维特征向量ψ(xj)。然后，通过比较特征向量xj 规定的点xj和阈值(在MLP和GMM的情况下)，或者通过比较高维特征向 量ψ(xj)规定的点ψ(xj)与阈值(在SVM的情况下)，判定点xj或者点ψ (xj)是否属于菌落类别C2。当所述点xj或者点ψ(xj)属于C2类时，识别 出所述检查点xj是菌落。

在上述方法中，在共同特征空间上形成颜色数据和形状数据的特征向量。 但是，本发明不局限于此。例如，颜色数据和形状数据的特征向量可以分开地 形成在不同特征空间上，以进行训练和识别。在这种情况下，分别在菌落的颜 色数据和形状数据上进行训练，Ccolor和Cshape类菌落分别在不同的特征空间 进行分类。在所述识别步骤，特征提取部51首先根据函数算法使用输入到分 类器45中作为输入变量的颜色数据(R，G和B值)进行特征提取计算，形成 特征向量xj＝(xr，xg，xb)(检查点)。当分类器45是SVM时，通过将特 征向量规定的点xj映射到高维特征空间，形成高维特征向量ψ(xj)。这接下 来是判定所获得的点xj(在MLP和GMM的情况下)或者点ψ(xr，xg，xb) (在SVM的情况下)是否属于Ccolor类菌落。当点xj或者点ψ(xr，xg，xb) 属于Ccolor类时，识别出点xj是候选菌落。然后将候选菌落的形状数据输入 到分类器45上。特征提取部51根据函数算法使用形状数据作为输入变量进行 特征提取计算，形成特征向量xj＝(xshape)(检查点)。当分类器45是SVM 时，通过将特征向量规定的点xj映射到高维特征空间，形成高维特征向量ψ (xj)。然后判定所获得的点xj(在MLP和GMM的情况下)或者点ψ(xshape) (在SVM的情况下)是否属于Cshape类菌落。当点xj或者点ψ(xshape)属 于Cshape类时，所述点xj识别为菌落。

在上面两种方法中，识别步骤中因为形状差异识别出菌落和异物(果皮之 类)。因为这样，可以忽略所述辨别步骤。另外，与使用辨别步骤相比，提高 了菌落检测的精度。

上述实施例不局限于以上，可以进行下列修改。

输入数据的额外元素可以是面积数据。与第四实施例中的形状数据相同的 方式规定的区域面积(例如，像素数目)可以被确定。含有面积数据的输入数 据作为元素输入到分类器45。然后获得特征向量x＝(xr，xg，xb，xshape，xarea) 或者x＝(xr，xg，xb，xarea)(输入点或者检查点)。分类器45中的特征提取 部51从含有至少面积数据和颜色数据的输入数据形成特征向量xj(检查点)。 当分类器45是SVM时，映射部52通过将特征向量规定的检查点xj映射到高 维特征空间形成高维特征向量点ψ(xj)。判定由所获得的特征向量所规定的 点xj(在MLP和GMM情况下)或者高维特征向量所规定的点ψ(xj)(在 SVM的情况下)是否属于菌落类，并且基于判定结果识别出菌落。

在辨别步骤，可以采用形状辨别、颜色辨别和位置辨别中的至少一个。也 可以采用形状辨别、颜色辨别和位置辨别中的一个或两个。所述辨别步骤也可 以省略。

用于学习培养基的对象不局限于在检查对象(样品S)中产生菌落之前的 预定周期期间(训练周期)的培养基。用于学习培养基的对象可以是(a)要检 查的图像中的部分培养基，(b)具有相同变化的实际菌落图像(已经预先培 养并含有菌落的样品的图像，或者过去捕获到的劣质样品的图像)中的部分培 养基或者(c)在人工制备的菌落的图像中的部分培养基。用于学习菌落的对象 可以包括(a)在具有相同变化的实际菌落的图像(已经预先培养并含有菌落的 样品的图像或者过去捕获到的劣质样品图像)中的部分菌落或者(b)人工制 备的菌落的图像中的一部分菌落。

检查对象区域不局限于主区域A1，可以是培养基区域的整个区域。

输入数据不局限于像素单元的输入数据，可以是含有多于一个像素的区域 单元的输入数据。

微生物检测方法可以用于检查之外的其它目的。可以用于实验数据是在食 物和饮料的研发期间获得的应用中。

训练可以在培养基的整个区域进行。当培养基不含有噪声N时，例如，分 类器45的学习可以在培养基的整个区域上进行。

除了像监视器这样的显示装置，发布菌落检测结果的通知的通知装置可以 是扬声器、灯、打印机之类。

搬运机械手可以是3-轴正交机械手。3-轴正交机械手具有可以沿着大搁架 在水平方向(x方向)上行进的行进平台、可以相对于行进平台在垂直方向(z 方向)上升和下降的升降平台、以及可以从升降平台在朝向搁架的方向(Y方 向)进出运动的把持构件(卡头构件)。通过使用3-轴正交机械手，可以将样 品送到搁架的任何区，以及将样品从搁架的任何区排放。

微生物可以不仅是真细菌和古细菌，还可以是真核生物(藻类、原生生物、 真菌、黏菌)之类。微生物的大小可以是菌落可以被肉眼看见或者需要显微镜 观察到的大小。

第一至第四实施例可以结合起来使用。例如，在第二实施例中，可以像第 一实施例中那样在培养基点上对分类器进行训练。