首页> 中国专利> 学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备

学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备

摘要

学习完成模型的生成方法使用示教图像,通过机器学习来生成学习完成模型,所述示教图像包括:作为表示钢材表面的缺陷部的分布的图像且具有同一图像尺寸的缺陷图案;及向该缺陷图案预先赋予的周期性缺陷的有无,所述学习完成模型以作为表示钢材表面的缺陷部的分布的图像且图像尺寸为所述同一图像尺寸的缺陷图案为输入值,以与该缺陷图案内的周期性缺陷的有无相关的值为输出值。

著录项

  • 公开/公告号CN113260854A

    专利类型发明专利

  • 公开/公告日2021-08-13

    原文格式PDF

  • 申请/专利权人 杰富意钢铁株式会社;

    申请/专利号CN201980086096.9

  • 发明设计人 腰原敬弘;大野纮明;

    申请日2019-10-31

  • 分类号G01N21/892(20060101);G06T7/00(20170101);G06N20/00(20190101);G06T1/00(20060101);

  • 代理机构11219 中原信达知识产权代理有限责任公司;

  • 代理人赵晶;李范烈

  • 地址 日本东京

  • 入库时间 2023-06-19 12:11:54

说明书

技术领域

本发明涉及学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备。

背景技术

在钢板的制造生产线中,为了产品表面的品质保证、品质管理而进行表面缺陷的检查。近年来,判定系统的导入不断进展,能实现检查的自动化、省力化。近年导入的钢材判定系统主要是以由基于照明、相机的光学系统和图像处理系统构成的检查系统为主流。它们基于在缺陷部处由于光散射而产生的受光光量之差来检测缺陷。

在轧制钢板的情况下,辊表面的附着物或缺陷向钢板转印而在钢板的表面有时会产生缺陷。这些缺陷在作为长条的钢板的钢带中,遍及其全长而周期性地产生,因此称为周期性缺陷。周期性缺陷由于其产生原因,如果一旦产生则会导致大量产生。周期性缺陷尽管极其有害,但是由于各个缺陷非常微小,因此其检测并不容易。此外,在钢带的通板速度快的高速生产线中,周期性缺陷的检测变得更加困难。

另外,已知在通板过程中如果钢板发生蛇行,则周期性缺陷的宽度方向(与钢板的移动方向正交的方向)上的位置较大地变动,因此难以将周期性缺陷作为在移动方向上存在周期性的缺陷而检测。

此外,根据制造工序的状况,有时需要在比实际产生周期性缺陷的生产线靠下游的生产线中检查周期性缺陷。例如,将酸洗生产线中的周期性缺陷在冷轧后的CAL(Continuous Annealing Line:连续退火生产线)中检查的情况相当于此。这样,在检查生产线与缺陷产生生产线不同的情况下,根据在检查生产线中检测到的缺陷部的位置信息来判断在缺陷产生生产线中产生的钢板的蛇行的影响的情况变得更加困难。

作为即使在钢板发生蛇行的情况下也能检测周期性缺陷的方法,已知有沿宽度方向设定允许宽度的方法。具体而言,在检测到缺陷的情况下,距该缺陷沿宽度方向设定一定的允许宽度,将在该允许宽度内周期性地产生(例如三个以上)的缺陷判定为周期性缺陷,由此即使在钢板发生蛇行的情况下也能够检测周期性缺陷。

专利文献1提出了关于宽度方向的受光信号,运算钢板的移动方向上的自相关系数而检测周期性缺陷的方法。

在专利文献2中,按照缺陷的类别来预先确定缺陷的评价值、该缺陷种类是否为周期性缺陷种类。此外,对于周期性缺陷种类,预先设定评价值的总计值的阈值。并且,提出了将检测缺陷的信号水平(缺陷检测的阈值)设定为噪声水平附近,决定检测到的缺陷的缺陷种类,在将该缺陷种类判断为周期性缺陷的情况下,在该缺陷以相同间距连续产生一定次数以上且其评价值的总计值成为了预先设定的评价值的总计值的阈值以上时,将该缺陷判定为周期性缺陷的方法。

在专利文献3中,提出了在对被检体进行磁化并通过磁传感器检测从被检体泄漏的磁通的泄漏磁通法中,基于计测到的信号的二维图案,将与缺陷相同程度的大小的多个小区域以相当于辊间距的间距等间隔配置,通过进行该区域间的相关运算来检测周期性缺陷的方法。

在先技术文献

专利文献

专利文献1:日本特开昭58-156842号公报

专利文献2:日本特开平7-198627号公报

专利文献3:日本特开2009-265087号公报

发明内容

发明要解决的课题

设定允许宽度的方法、及专利文献2记载的方法着眼于缺陷的宽度方向的位置,评价缺陷的宽度方向的偏离量,因此较大地受到钢板的蛇行的影响。其结果是,在由于钢板的蛇行而宽度方向的位置的偏离量增大的情况下,有时无法判定为周期性缺陷。另一方面,如果增大对于宽度方向的偏离的允许量,则会将不是周期性缺陷的缺陷检测作为周期性缺陷(过检测)。

专利文献1记载的方法需要存储宽度方向的全部信号,关于应检测该信号的全部辊间距取得自相关的运算,因此需要极大的存储容量和运算时间。而且,在专利文献1记载的方法中,在调整灵敏度而大量地检测到缺陷的情况下,成为过检测,在其中通过自相关运算识别作为多个周期性缺陷,可能无法分辨真正的周期性缺陷。

专利文献3记载的方法与专利文献1、2不同,是与泄漏磁通法相关的技术,但是在该方法中,也是多个小区域等间隔地位于宽度方向的相同位置,因此在钢板较大地蛇行的情况下,无法检测周期性缺陷。

本发明是鉴于上述课题而作出的发明,其目的在于提供一种即使钢板发生蛇行也能够高精度地检测周期性缺陷的学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备。

用于解决课题的方案

为了解决上述的课题,实现目的,本发明的一方案的学习完成模型的生成方法使用示教图像,通过机器学习来生成学习完成模型,所述示教图像包括:作为表示钢材表面的缺陷部的分布的图像且具有同一图像尺寸的缺陷图案;及向该缺陷图案预先赋予的周期性缺陷的有无,所述学习完成模型以作为表示钢材表面的缺陷部的分布的图像且图像尺寸为所述同一图像尺寸的缺陷图案为输入值,以与该缺陷图案内的周期性缺陷的有无相关的值为输出值。

另外,本发明的一方案的学习完成模型的生成方法中,在作为所述输入值而使用的所述缺陷图案的图像尺寸与所述同一图像尺寸不同的情况下,将该缺陷图案的图像尺寸变换成所述同一图像尺寸而作为所述输入值。

另外,本发明的一方案的学习完成模型的生成方法是使用测试图像生成的学习完成模型的生成方法,所述测试图像包括:作为表示钢材表面的缺陷部的分布的图像且具有与所述示教图像同一图像尺寸的缺陷图案;及向该缺陷图案预先赋予的周期性缺陷的有无,将所述测试图像的所述缺陷图案向所述学习完成模型输入,输出与该测试图像中的周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,判定所述测试图像中的周期性缺陷的有无,将所述判定出的周期性缺陷的有无与所述预先赋予的周期性缺陷的有无进行比较来算出正确回答率,根据所述算出的正确回答率,调整所述学习完成模型的生成条件。

另外,本发明的一方案的学习完成模型的生成方法中,所述学习完成模型的生成条件的调整是将所述同一图像尺寸向图像尺寸不同的其他的同一图像尺寸变更。

另外,本发明的一方案的学习完成模型的生成方法中,设定图像尺寸互不相同的多个种类的同一图像尺寸作为所述同一图像尺寸,使用所述设定出的各同一图像尺寸的所述示教图像与所述测试图像的组,对于所述多个种类的同一图像尺寸的每一个算出所述正确回答率,使用所述算出的正确回答率最高的同一图像尺寸的示教图像和测试图像,生成学习完成模型。

另外,本发明的一方案的学习完成模型具备:输入层,作为表示钢材的表面的缺陷部的分布的图像且具有同一图像尺寸的缺陷图案被作为判定图像而输入;输出层,输出针对所述判定图像的与周期性缺陷的有无相关的值;及中间层,使用示教图像使参数学习,所述示教图像以与所述判定图像是同一图像尺寸的缺陷图案为输入并以针对所述缺陷图案的与周期性缺陷的有无相关的值为输出,所述学习完成模型用于使计算机以如下方式发挥作用:将是所述同一图像尺寸的判定图像向输入层输入,利用所述中间层计算,从所述输出层输出与周期性缺陷的有无相关的值。

另外,本发明的一方案的表面缺陷检测方法包括如下步骤:取得拍摄钢材的表面而得到的拍摄数据;基于所述拍摄数据,制成表示缺陷部的分布的缺陷图案;将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;将所述判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,对于所述判定图像判定周期性缺陷的有无。

另外,本发明的一方案的表面缺陷检测方法中,所述学习完成模型以在被输入了所述判定图像时输出与所述周期性缺陷的有无相关的值的方式使用与所述判定图像同一图像尺寸的示教图像被实施了机器学习。

另外,本发明的一方案的钢材的制造方法使用表面缺陷检测方法,检测钢材的表面的周期性缺陷,根据该检测结果来控制制造条件而制造钢材。

另外,本发明的一方案的合格与否判定方法包括如下步骤:取得拍摄钢材的表面而得到的拍摄数据;基于所述拍摄数据,制成表示缺陷部的分布的缺陷图案;将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;将所述判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,对于所述钢材判定合格与否。

另外,本发明的一方案的钢材的合格与否判定方法中,所述学习完成模型以在被输入了所述判定图像时输出与所述周期性缺陷的有无相关的值的方式使用与所述判定图像同一图像尺寸的示教图像被实施了机器学习。

另外,本发明的一方案的钢材的制造方法利用合格与否判定方法,判定钢材的合格与否,根据该判定结果来控制制造条件而制造钢材。

另外,本发明的一方案的等级判定方法包括如下步骤:取得拍摄钢材的表面而得到的拍摄数据;基于所述拍摄数据,制成表示缺陷部的分布的缺陷图案;将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;将所述判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,对于所述判定图像判定周期性缺陷的有无;基于所述缺陷部,计算所述判定图像的缺陷混入率;基于所述计算出的缺陷混入率和对于所述判定图像的周期性缺陷的有无的判定结果,判定与所述判定图像对应的所述钢材的等级。

另外,本发明的一方案的等级判定方法包括如下步骤:取得拍摄钢材的表面而得到的拍摄数据;基于所述拍摄数据,制成表示缺陷部的分布的缺陷图案;将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;将所述判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,对于所述钢材判定合格与否;基于所述缺陷部,计算所述判定图像的缺陷混入率;基于所述计算出的缺陷混入率和对于所述钢材的合格与否的判定结果,判定与所述判定图像对应的所述钢材的等级。

另外,本发明的一方案的钢材的制造方法包括利用等级判定方法按照等级对钢材进行分类的分类步骤。

另外,本发明的一方案的表面缺陷判定程序用于使计算机执行包含如下步骤的处理:取得拍摄钢材的表面而得到的拍摄数据;基于所述拍摄数据,制成表示缺陷部的分布的缺陷图案;将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;将所述判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,对于所述判定图像判定周期性缺陷的有无。

另外,本发明的一方案的合格与否判定程序用于使计算机执行包含如下步骤的处理:取得拍摄钢材的表面而得到的拍摄数据;基于所述拍摄数据,制成表示缺陷部的分布的缺陷图案;将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;将所述判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值,基于该与周期性缺陷的有无相关的值,对于所述钢材判定合格与否。

另外,本发明的一方案的判定系统具备:缺陷图案制成部,基于拍摄钢材的表面而得到的拍摄数据,制成表示缺陷部的分布的缺陷图案;尺寸变换部,将所述缺陷图案的图像尺寸变换成同一图像尺寸,对于所述缺陷图案的每一个制成判定图像;周期性缺陷判定部,对于机器学习完成的学习完成模型输入所述判定图像,输出与周期性缺陷的有无相关的值;及判定部,基于与所述周期性缺陷的有无相关的值,对于所述判定图像判定周期性缺陷的有无及/或对于所述钢材判定合格与否,所述学习完成模型以在被输入了所述判定图像时输出与所述周期性缺陷的有无相关的值的方式使用与所述判定图像同一图像尺寸的示教图像被实施了机器学习。

另外,本发明的一方案的钢材的制造设备具备判定系统。

发明效果

根据本发明,能够实现即使钢板发生蛇行也可高精度地检测周期性缺陷的学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备。

附图说明

图1是表示本发明的实施方式1的钢材判定系统的结构的示意图。

图2是表示学习完成模型的结构的示意图。

图3是表示生成学习完成模型的流程的流程图。

图4是表示缺陷图案的一例的图。

图5是表示缺陷图案的一例的图。

图6是表示对图像尺寸进行变换之前的缺陷图案的一例的图。

图7是表示对图像尺寸进行了变换之后的缺陷图案的一例的图。

图8是用于说明本实施方式中使用的CNN的例子的图。

图9是表示准备的示教图像用缺陷图案及测试图像用缺陷图案的张数的一例的图。

图10是表示测试判定结果的一例的图。

图11是表示测试判定结果的另一例的图。

图12是表示现有技术的测试判定结果的一例的图。

图13是表示将同一图像尺寸设定为60×120像素时的对于示教图像及测试图像的正确回答率的变化的坐标图。

图14是表示将同一图像尺寸设定为120×240像素时的对于示教图像及测试图像的正确回答率的变化的坐标图。

图15是表示将同一图像尺寸设定为240×480像素时的对于示教图像及测试图像的正确回答率的变化的坐标图。

图16是在图13~图15中标绘了对于测试图像的最高正确回答率与同一图像尺寸的关系的坐标图。

图17是表示图16的标绘点的正确回答率的值及最高正确回答率时的时间段(Epoch)数的表。

图18是表示判断钢材的周期性缺陷的有无的流程的流程图。

图19是表示图18的判定图像制成处理的流程图。

图20是表示图18的判定的流程图。

图21是表示包含周期性缺陷的缺陷图案的一例的图。

图22是表示不包含周期性缺陷的缺陷图案的一例的图。

图23是表示图18的判定的流程图。

图24是表示图18的判定的流程图。

图25是表示本发明的实施方式2的钢材判定系统的结构的示意图。

图26是表示图18的判定的流程图。

图27是表示图18的判定的流程图。

具体实施方式

以下,参照附图,说明本发明的一实施方式的学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否的判定方法、等级判定方法、表面缺陷判定程序、合格与否的判定程序、判定系统、及钢材的制造设备。首先,说明判定系统的概要。接下来,说明该判定系统中使用的用于检测表面缺陷的学习完成模型。然后,说明该学习完成模型的生成方法。并且,依次说明使用了学习完成模型的表面缺陷检测方法、使用了该表面缺陷检测方法的钢材的制造方法、合格与否的判定方法、使用了该合格与否的判定方法的钢材的制造方法、钢材的制造设备、及等级判定方法。

本发明只要是可能具有周期性缺陷的钢材即可,对于一般的钢材能够适用,但是以下,以钢板P为例进行说明。钢板P例如是冷轧钢板、表面处理钢板、酸洗钢板、热轧钢板、电磁钢板等的经由可能受到蛇行的影响的工序制造的钢板。此外,本发明也能够适用于作为长条的钢板的钢带。在适用于钢带的情况下,防止由于在长的范围容易产生的周期性缺陷而产品品质较大受损的情况的效果特别显著。

(实施方式1)

〔钢材判定系统〕

图1是表示本发明的实施方式1的钢材判定系统的结构的示意图。如图1所示,本发明的实施方式1的钢材判定系统1具备照明装置2、拍摄装置3、图像处理部4、钢材判定部5。

钢材判定系统1是使用后述的学习完成模型来判定钢板P的表面是否存在周期性缺陷的钢板P的判定系统。

照明装置2作为光源,对钢材判定系统1的检查对象即钢板P的表面进行照明。照明装置2只要是用于钢材判定系统1的光源即可,例如,为LED光源、白炽光源、闪光灯或金属卤化物光源。

拍摄装置3拍摄由照明装置2照明的钢板P的表面,然后,将得到的钢板P表面的图像的电子数据向图像处理部4传送。拍摄装置3可以为具有一维拍摄元件的所谓线传感器相机或具有二维拍摄元件的所谓面阵相机中的任一个,但无论是哪种情况下,都与钢板P的传送同步地进行拍摄。在拍摄装置3为线传感器相机的情况下,使用连续点亮照明作为照明装置2。在拍摄装置3为面阵相机的情况下,使用每当钢板P前进一定距离时发出闪光的闪光照明作为照明装置2。拍摄装置3所使用的拍摄元件可以为CCD(Charge Coupled Device:电荷耦合器件),但也可以为CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)。而且,拍摄装置3也可以对照明的正反射、扩散反射中的任一者进行拍摄。在图1中,图示出一组光源和相机,但是光源及相机也可以分别为多个。例如,也可以是将一组光源和相机以正反射配置并将另一组光源和相机以扩散反射配置的两组光学系统。此外,可以将两组光源和相机分别以扩散反射配置,也可以将三组以上的光源与相机组合。而且,也可以将钢板P的宽度方向分割成多个,分成多组光源和相机进行拍摄,之后将图像合成。需要说明的是,通常,在光源与相机之间配置有色玻璃滤光片、IR截止滤光片、偏振光滤光片等各种光学元件,但是在图1中省略。

图像处理部4对从拍摄装置3传送的钢板P表面的图像的数据进行解析,如果钢板P表面存在表面缺陷,则对它们进行检测,且判定这些表面缺陷的类别、有害度,将该信息向钢材判定部5输出。

图像处理部4在内部具备数据取得部41、图像校正部42、缺陷检测部43、缺陷判定部44、及缺陷图案制成部45。图像处理部4使用CPU(Central Processing Unit)等各种运算电路、存储器或硬盘等存储装置来实现。图像处理部4内的各块通过由运算电路执行的程序实现。即,图像处理部4通过该程序的执行而作为数据取得部41、图像校正部42、缺陷检测部43、缺陷判定部44及缺陷图案制成部45发挥作用。

钢材判定部5在内部具备尺寸变换部51、周期性缺陷判定部52及判定部53。钢材判定部5使用CPU等各种运算电路、存储器或硬盘等存储装置实现。钢材判定部5内的各块通过由运算电路执行的程序实现。即,钢材判定部5通过该程序的执行而作为尺寸变换部51、周期性缺陷判定部52及判定部53发挥作用。而且,钢材判定部5具备显示部55,该显示部55具有由液晶或有机EL(Electro Luminescence)等构成的显示面板。

钢材判定系统1根据需要也可以具备机器学习部6。机器学习部6在内部具备尺寸变换部61、模型制成部62及正确回答率算出部63。机器学习部6使用CPU等各种运算电路、存储器或硬盘等存储装置实现。机器学习部6内的各块通过由运算电路执行的程序实现。即,机器学习部6通过该程序的执行而作为尺寸变换部61、模型制成部62及正确回答率算出部63发挥作用。而且,机器学习部6具备显示部65,该显示部65具有由液晶或有机EL等构成的显示面板。

图像处理部4、钢材判定部5及机器学习部6也可以是分别由不同的计算机构成的结构。在该情况下,图像处理部4、钢材判定部5及机器学习部6分别具有鼠标及键盘等未图示的输入部、显示部。需要说明的是,图1图示出钢材判定部5的显示部55及机器学习部6的显示部65,但是输入部、图像处理部4的显示部未图示。

另外,在图1中,图像处理部4与钢材判定部5电连接。因此,由图像处理部4制成的后述的缺陷图案或缺陷部等的电子数据能够从图像处理部4向钢材判定部5传送。

另外,机器学习部6在需要时能够与图像处理部4和钢材判定部5分别电连接。例如,在需要学习完成模型的再学习的情况下,能够从图像处理部4将缺陷图案的备份数据向机器学习部6输入,能够从钢材判定部5将与缺陷图案对应的周期性缺陷的有无的电子数据向机器学习部6输入。并且,通过机器学习部6实施了再学习的学习完成模型作为电子数据能够从机器学习部6向钢材判定部5输出。

另外,机器学习部6的模型制成部62也可以是利用了云计算的结构。在该情况下,模型制成部62通过网络(例如,互联网或局域网等)向尺寸变换部61和正确回答率算出部63连接。而且,在该情况下,尺寸变换部61和正确回答率算出部63也可以是利用了相同或不同的云计算的结构。反之,也可以不需要具备尺寸变换部61和正确回答率算出部63。而且,在学习完成模型从销售商(向用户提供产品的公司)或厂商等利用云计算等来提供的情况下,也可以不设置机器学习部6的模型制成部62。在该情况下,如果进而不设置尺寸变换部61和正确回答率算出部63,则钢材判定系统1成为不具备机器学习部6的系统。

另外,可以是图像处理部4、钢材判定部5及机器学习部6由一个计算机构成的结构,也可以是图像处理部4、钢材判定部5及机器学习部6中的任意两个由一个计算机构成的结构。在钢材判定部5及机器学习部6由一个计算机构成的结构的情况下,尺寸变换部51与尺寸变换部61也可以为同一部。而且,显示部65、55也可以为同一部。

另外,反之,图像处理部4、钢材判定部5及机器学习部6也可以分别是由一个以上的计算机构成的结构。在进行向运算电路的负荷高的处理的情况下,优选由一个以上的计算机构成。特别是后述的生成学习完成模型的机器学习部6优选由一个以上的计算机构成。而且,该计算机也包括利用了云计算的计算机。

〔学习完成模型〕

接下来,本发明的实施方式1说明为了检测周期性缺陷而使用的学习完成模型。本发明的学习完成模型设想作为人工智能软件的一部分即程序模块的利用,在具备CPU及存储装置的计算机(在本说明书中,为钢材判定部5)中使用。学习完成模型是以与示教图像的缺陷图案的图像尺寸相同的图像尺寸的缺陷图案为输入值并以与该缺陷图案中的周期性缺陷的有无相关的值为输出值的学习完成模型。缺陷图案是表示了判定为有害的缺陷的缺陷部的二维分布的图像。换言之,缺陷图案是将缺陷部通过点标绘的图像。

图2是表示学习完成模型的结构的示意图。图2中的学习完成模型具备输入层71、中间层72、输出层73。在此,向输入层71输入表示了钢板P的表面的缺陷部的分布的图像且与示教图像相同的图像尺寸的缺陷图案作为判定图像。中间层72使用以与判定图像相同的图像尺寸的缺陷图案为输入并以针对缺陷图案的与周期性缺陷的有无相关的值为输出的示教图像,来学习参数。从输出层73输出针对判定图像的与周期性缺陷的有无相关的值。

并且,学习完成模型使计算机如下所述地发挥作用:将与示教图像相同的图像尺寸的判定图像向输入层71输入,利用中间层72进行计算,从输出层73输出与周期性缺陷的有无相关的值。需要说明的是,判定图像是成为判定周期性缺陷的有无的对象的图像,是表示钢板P的表面的缺陷部的二维分布的图像,且是与示教图像相同的图像尺寸的缺陷图案。关于示教图像在后文叙述。而且,以下,同一图像尺寸是指将判定图像、示教图像及后述的测试图像的缺陷图案的图像尺寸统一为相同尺寸时的图像尺寸。需要说明的是,以上说明的学习完成模型根据其功能,也可以改称为分类器(Classifier)。

〔学习完成模型的生成方法〕

接下来,说明该学习完成模型的生成方法。需要说明的是,学习完成模型的生成只要进行一次即可,使用生成的学习完成模型,能够反复检测钢板P的表面的周期性缺陷。而且,本发明的学习完成模型由具备CPU及存储装置的计算机(在本说明书中,为机器学习部6)生成。而且,该计算机也包括利用了云计算的结构。

图3是表示生成学习完成模型的流程的流程图。在图3的最初的处理中,箭头存在两个,但是这表示可以并行进行步骤S1~S3的处理和步骤S4、S5的处理的情况。在以后的流程图中,两个箭头也是指同样的处理。而且,箭头的分支也是指同样的处理。需要说明的是,也可以在进行了步骤S1~S3的处理之后进行步骤S4、S5的处理。而且,也可以将步骤S1和步骤S4的处理、步骤S2和步骤S4的处理分别汇总进行,然后进行步骤S3的处理。

如图3所示,首先,准备多个缺陷图案和向该缺陷图案预先赋予的周期性缺陷的有无作为示教图像用的数据组(步骤S1)。示教图像用缺陷图案由预先拍摄长度、宽度不同的钢板P的表面而得到的拍摄数据制成。

图4、图5是表示缺陷图案的一例的图。在图4、图5中,显示为黑色的部分是缺陷部。图4是不具有周期性缺陷的缺陷图案的一例,图5是具有周期性缺陷D的缺陷图案的一例。在预先准备的全部的缺陷图案中,分别预先制成对应的周期性缺陷的有无,将各缺陷图案与该缺陷图案中的周期性缺陷的有无分别建立对应。

接下来,尺寸变换部61进行将示教图像用的数据组中包含的各缺陷图案的图像尺寸变换成同一图像尺寸的尺寸变换处理(步骤S2)。通过进行该处理,来准备包含缺陷图案和向该缺陷图案预先赋予的周期性缺陷的有无的示教图像。

钢板P按照制造条件而长度、宽度不同,因此与该钢板P对应的缺陷图案也成为长度、宽度不同的图案。图6是表示对图像尺寸进行变换之前的缺陷图案的一例的图。如图6所示,例如,存在拍摄长度100m、宽度1500mm的钢板B1而制成的缺陷图案和拍摄长度75m、宽度900mm的钢板B2而制成的缺陷图案。在钢板B1及钢板B2产生了周期间隔8m、蛇行量460mm的相同程度的周期、蛇行量的周期性缺陷。需要说明的是,如果使用同一制造装置同时期地制造钢板,则产生的周期性缺陷容易成为相同程度的周期、蛇行量。

图7是表示对图像尺寸进行了变换之后的缺陷图案的一例的图。如图7所示,尺寸变换部61将与钢板B1对应的缺陷图案和与钢板B2对应的缺陷图案分别变换成120×240像素的图像尺寸(同一图像尺寸)。于是,在尺寸变换后的缺陷图案C1产生周期间隔19像素、蛇行量37像素的周期性缺陷,在尺寸变换后的缺陷图案C2产生周期间隔26像素、蛇行量61像素的周期性缺陷。即,通过尺寸变换部61将缺陷图案变换成同一尺寸,能得到与使用包含不同的周期、蛇行量的周期性缺陷的示教图像进行机器学习的情况同样的效果。这样,尺寸变换部61将示教图像用缺陷图案的图像尺寸变换成同一尺寸而作为示教图像,由此能得到与使用包含较多的变化的周期性缺陷的示教图像进行机器学习的情况同等的效果,因此能够高效地进行机器学习。

需要说明的是,初次的同一图像尺寸可以使用适当地设定的图像尺寸。而且,也可以在示教图像的缺陷图案的图像尺寸未统一的状态下进行机器学习,基于后述的正确回答率的结果而决定适当的图像尺寸之后,通过尺寸变换部61将示教图像的缺陷图案变换成同一图像尺寸。而且,也可以设定图像尺寸互不相同的多个种类的同一图像尺寸作为同一图像尺寸,在设定的各同一图像尺寸中算出后述的正确回答率,决定算出的正确回答率为预先确定的阈值以上或成为最高的图像尺寸,以决定的同一图像尺寸生成学习完成模型。

需要说明的是,无论在何种情况下,都可以不使用尺寸变换部61而使用其他的计算机等,准备预先将缺陷图案的图像尺寸设为同一图像尺寸的示教图像。

另一方面,在步骤S4中,与步骤S1同样,准备多个表示了钢板P表面的缺陷部的二维分布的图像即缺陷图案和向该缺陷图案赋予的周期性缺陷的有无作为测试图像用的数据组。测试图像用缺陷图案也由与前述的示教图像用缺陷图案相同且预先拍摄长度、宽度不同的钢板P的表面而得到的拍摄数据制成。

接下来,在步骤S5中,与步骤S2同样,尺寸变换部61进行将测试图像用的数据组中包含的各缺陷图案的图像尺寸变换成与前述的示教图像的缺陷图案相同的图像尺寸的尺寸变换处理。通过进行该处理,来准备包含缺陷图案和向该缺陷图案预先赋予的周期性缺陷的有无的测试图像。

在准备了示教图像之后,模型制成部62使用通过步骤S2准备的示教图像,进行通过机器学习来生成学习完成模型的模型制成处理(步骤S3)。换言之,模型制成部62在作为输入值使用的缺陷图案的图像尺寸与同一图像尺寸不同的情况下,通过步骤S2的处理,尺寸变换部61将缺陷图案的图像尺寸变换为同一图像尺寸之后作为输入值。

本实施方式中使用的机器学习优选为深层学习(Deep Learnig(深度学习)),其中,特别是更优选使用卷积神经网络(Convolutional Neural Networks,以下,简称为CNN。)。在使用上述深层学习的情况下,特别是使用CNN的情况下,只要具备两层以上的神经网络即可。在使用CNN的情况下,学习完成模型或分类器可以改称为卷积神经网络系统。

使用图8,详细说明本实施方式中使用的CNN的例子。图8是使用CNN实现了将缺陷部的二维分布图像即缺陷图案和与周期性缺陷的有无相关的值建立关联的神经网络模型的例子。

首先,向输入层71输入120×240像素的缺陷图案作为输入数据。

接下来,具备从第一卷积层7201至脱落层7213作为中间层72。

首先,在第一卷积层7201中,提取缺陷图案的特征,制成120×240×128ch的数据。

接下来,在第一活化函数7202中,适用Rectifier Linear Unit(修正线性单元,ReLU)。

进而,在第一池化层7203中,保留重要的信息并缩小尺寸,制成120×240×256ch的数据。

然后,在第二卷积层7204、第二活化函数7205及第二池化层7206中,进行与第一卷积层7201、第一活化函数7202及第一池化层7203同样的处理,制成60×120×256ch的数据。

进而,在第三卷积层7207、第三活化函数7208及第三池化层7209中也进行同样的处理,制成30×60×16ch的数据。

然后,在第一全结合层7210中,进行节点的结合的加权,制成15×30×16ch的数据。

进而,在第四活化函数7211中,适用ReLU。

然后,在第二全结合层7212中,进行节点的结合的加权,制成16ch的数据。然后,经由脱落层7213来防止过学习。

最后,从输出层73输出针对输入的缺陷图案的与周期性缺陷的有无相关的值作为输出数据。与周期性缺陷的有无相关的值是指,输入的缺陷图案为没有周期性缺陷的概率x%、有周期性缺陷的概率y%。

在使用多个示教图像的机器学习完成之后,将测试图像的缺陷图案向在步骤S3中制成的学习完成模型输入(步骤S6)。于是,学习完成模型输出与输入的测试图像中的周期性缺陷的有无相关的值。进而,正确回答率算出部63基于学习完成模型输出的与周期性缺陷的有无相关的值,判定测试图像中的周期性缺陷的有无。然后,正确回答率算出部63对于各测试图像,将判定的周期性缺陷的有无与在步骤S4中预先赋予的周期性缺陷的有无进行比较,算出正确回答率。

在此,在图9中说明使用准备的全缺陷图案得到的、多个种类的同一图像尺寸和正确回答率的例子。通过该说明,将示教图像的缺陷图案、测试图像的缺陷图案及后述的判定图像的缺陷图案的图像尺寸设为同一图像尺寸的情况的技术的重要性变得明确。

图9是表示准备的示教图像用缺陷图案及测试图像用缺陷图案的张数的一例的图。如图9所示,首先,准备了根据预先拍摄长度、宽度不同的钢板P的表面而得到的拍摄数据而制成的1544张缺陷图案(全缺陷图案)。这些缺陷图案预先由人来判定周期性缺陷的有无,判定为没有周期性缺陷的缺陷图案为1102张,判定为有周期性缺陷的缺陷图案为442张。

全缺陷图案中的随机选择的80%(1230张)的缺陷图案使用于示教图像用缺陷图案。示教图像用缺陷图案与向它们赋予的周期性缺陷的有无的数据的数据组为了通过机器学习制成学习完成模型而使用。需要说明的是,使用于示教图像用缺陷图案的1230张缺陷图案包括被判定为没有周期性缺陷的881张缺陷图案和被判定为有周期性缺陷的349张缺陷图案。

另一方面,全缺陷图案中的其余的20%(314张)的缺陷图案使用于测试图像用缺陷图案。测试图像用缺陷图案与向它们赋予的周期性缺陷的有无的数据的数据组在进行确认使用前述的示教图像制成的学习完成模型的正确回答率的测试时使用。需要说明的是,使用于测试图像用缺陷图案的314张缺陷图案包括被判定为没有周期性缺陷的221张缺陷图案和被判定为有周期性缺陷的93张缺陷图案。

图10和图11是表示测试判定结果的一例的图。图10是在尺寸变换部61中将示教图像及测试图像的缺陷图案的图像尺寸设为240×480像素的同一图像尺寸时的判定结果。正确回答率可以定义为(将无周期性缺陷判定为无周期性缺陷的个数+将有周期性缺陷判定为有周期性缺陷的个数)/(测试图像的总数),能够算出正确回答率=(209+80)/314=92.0%。而且,过检率可以定义为(将无周期性判定为有周期性的个数)/(测试图像的总数),能够算出过检率=12/314=3.8%。

图11是在尺寸变换部61中将示教图像及测试图像的缺陷图案的图像尺寸设为120×240像素的同一图像尺寸时的判定结果。正确回答率可以算出为(211+82)/314=93.3%。而且,过检率可以算出为10/314=3.2%。

返回图3,在算出的正确回答率为阈值以上的情况下(步骤S7:是),机器学习部6结束学习完成模型的生成。例如,在正确回答率的阈值为90%的情况下,无论是将图10所示的同一图像尺寸设定为240×480像素的情况下,还是将图11所示的同一图像尺寸设定为120×240像素的情况下,都满足步骤S7的条件。

另一方面,在算出的正确回答率比阈值小的情况下(步骤S7:否),返回步骤S2及步骤S5,尺寸变换部61将设为同一图像尺寸的示教图像及测试图像的缺陷图案的图像尺寸变更为图像尺寸与当前的同一图像尺寸不同的其他的同一图像尺寸。需要说明的是,图像尺寸的变更的方式没有特别限定。例如,只要将比当前的同一图像尺寸大的图像尺寸和小的图像尺寸这双方的图像尺寸设定作为新的同一图像尺寸,在双方的图像尺寸中算出正确回答率,向正确回答率升高的方向反复变更图像尺寸,检测正确回答率成为阈值以上的图像尺寸即可。而且,也可以使显示部65显示算出的正确回答率、图10或图11那样的示教图像及测试图像的信息等,根据这些信息,用户输入变更的图像尺寸。

需要说明的是,在图10及图11所示的正确回答率的计算例中,正确回答率、过检率都是120×240像素一方比图像尺寸更大的240×480像素进而得到改善。通常,在机器学习中,图像尺寸越大,位置信息的分辨率越高而判定的精度越高,但是由于信息量增多,因此计算的负担增大。然而,在上述的结果中,图像尺寸小的120×240像素的判定的精度高。这考虑是因为,如果过度增大图像尺寸,则难以将相邻的周期性缺陷取为连续的缺陷。但是,如果过度减小图像尺寸,则无法分类相邻的周期性缺陷,因此不优选。需要说明的是,关于图像尺寸与正确回答率的关系,在后文说明。

另外,图像尺寸并不局限于120×240像素或240×480像素。发明者进行了尝试时,钢板P的宽度方向为60~600像素,长度方向为120~1200像素的范围根据计算量和缺陷的位置信息的分辨率的平衡而可考虑为适当的图像尺寸的范围,但是如果宽度方向设为60~180像素,长度方向设为120~360像素,则计算时间缩短,可认为更优选。

另外,在上述的例子中,说明了反复变更同一图像尺寸的例子,但是并不局限于此。例如,也可以将图像尺寸互不相同的多个种类的同一图像尺寸设定作为同一图像尺寸,在设定的各同一图像尺寸中算出正确回答率,在算出的正确回答率为预先确定的阈值以上或最高的图像尺寸中,生成学习完成模型。例如,如果设定了图10及图11中说明的240×480像素及120×240像素作为图像尺寸互不相同的多个种类的同一图像尺寸,则在正确回答率更高的120×240像素中制成学习完成模型。

另外,为了与本发明进行比较,算出了使用现有技术时的正确回答率及过检率。作为现有技术,使用了在检测到缺陷的情况下,距该缺陷沿宽度方向设置一定的允许宽度,将在该允许宽度内周期性地产生的缺陷判定为周期性缺陷的判定方法。在以下的判定中,允许宽度设为5mm。图12是表示现有技术的测试判定结果的一例的图。如图12所示,正确回答率为(844+401)/1544=80.6%,过检率为258/1544=16.7%。如果将该结果与学习完成模型的判定结果进行对比,则能够确认到通过学习完成模型而正确回答率、过检率都被大幅改善的情况。

在此,关于图像尺寸与正确回答率的关系的见解,参照图13~图17进行说明。在本研讨中,将30×60像素、60×120像素、120×240像素、240×480像素、480×960像素这五个种类的图像尺寸设为同一图像尺寸。对于该五个种类的同一图像尺寸的每一个,通过上述的学习模型的生成方法制成学习完成模型,并确认了各自的正确回答率。其结果可知,并非同一图像尺寸越大则判定的精度(即正确回答率)越高。

各图像尺寸的正确回答率的确认方法如下所述。在本研讨中,示教图像(示教图像用缺陷图案与向它们赋予的周期性缺陷的有无的数据的数据组)及测试图像(测试图像用缺陷图案与向它们赋予的周期性缺陷的有无的数据的数据组)使用了图9准备的全缺陷图案。张数和明细如图9所示。即,示教图像用缺陷图案为1230张,测试图像用缺陷图案为314张。此外,示教图像用缺陷图案中,被判定为无周期性缺陷的缺陷图案为881张,被判定为有周期性缺陷的缺陷图案为349张。另一方面,测试图像用缺陷图案中,被判定为无周期性缺陷的缺陷图案为221张,被判定为有周期性缺陷的缺陷图案为93张。

接下来,使用这些示教图像,对于同一图像尺寸的每一个,通过上述的学习完成模型的生成方法制成了学习完成模型。接下来,关于对于同一图像尺寸的每一个制成的学习完成模型,使用相同的同一图像尺寸的测试图像,推定了周期性缺陷的有无。在基于这些示教图像的学习过程和测试图像的推定过程中,也同时算出了使时间段数变化至最大100时的损失函数和正确回答率。

图13~图15是表示将同一图像尺寸分别设定为60×120像素、120×240像素、240×480像素时的正确回答率的例子的坐标图。在图13~图15中,纵轴为正确回答率,横轴为时间段数。坐标图中的点线是对于测试图像的正确回答率。为了参考,在相同的坐标图中,通过实线也记载了对于示教图像的正确回答率。

将算出的对于测试图像的正确回答率中的同一图像尺寸每一个的最高值设为该同一图像尺寸的正确回答率。图16是以同一图像尺寸为横轴而标绘了通过上述的方法求出的正确回答率的坐标图。而且,图17将通过上述的方法求出的正确回答率以数值表示。而且,图17一并记载的时间段数表示测试图像的最高正确回答率时的时间段数。如图16及图17所示,五个种类的同一图像尺寸中的将同一图像尺寸设定为120×240像素时的正确回答率最高。即,可知并非同一图像尺寸越大则判定的精度(即正确回答率)越高。因此,在生成学习完成模型时及使用学习完成模型时,在技术上优选的是,选择不是成为输入值的图像的图像尺寸单纯地大,而是选择预想为正确回答率进入能够允许的范围的图像尺寸,并作为同一图像尺寸使用。而且,非常优选的是,在预想为正确回答率进入允许范围的图像尺寸之中,选择更高的正确回答率的图像尺寸来使用。

根据以上说明的学习完成模型的生成方法,在以示教图像及测试图像的缺陷图案成为同一图像尺寸的方式变更图像尺寸之后,生成实施了机器学习的学习完成模型,因此能够得到正确回答率高的学习完成模型(或分类器,进一步被限定的情况下为卷积神经网络系统)。此外,以正确回答率成为阈值以上的方式调整学习完成模型的生成条件而生成实施了机器学习的学习完成模型,因此能够得到正确回答率更高的学习完成模型。在此,作为学习完成模型的生成条件的调整的具体的方法,可以使用增加神经网络(在本实施方式中为CNN)的中间层数、改变中间层的组合方式、及进一步增加示教图像而再学习等公知的方法。而且,作为本发明独特的方法,可以使用将示教图像及测试图像的缺陷图案的同一图像尺寸向其他的同一图像尺寸变换的方法。此外,通过使用该学习完成模型来判定缺陷图案,即使钢材表面的周期性缺陷较大地蛇行,也不用依靠人力而能够自动且高精度地检测。

〔钢材的表面缺陷检测方法〕

接下来,参照图18~图22,详细说明使用了制成的学习完成模型的钢材的表面缺陷检测方法。

图18是表示判断钢材的周期性缺陷的有无的流程的流程图。如图18所示,首先,从照明装置2向钢板P的表面照射照明光,拍摄装置3拍摄被照射了照明光的钢板P的表面(步骤S21)。拍摄装置3拍摄到的电子数据即拍摄数据向图像处理部4输出。

接下来,图像处理部4进行生成判定图像的判定图像制成处理(步骤S22)。判定图像是成为通过学习完成模型判定周期性缺陷的有无等的对象的图像。

图19是表示图18的判定图像制成处理的流程图。如图19所示,图像处理部4对于拍摄装置3输出的拍摄数据进行前处理(步骤S31)。数据取得部41与拍摄装置3连接,图像处理部4将拍摄装置3拍摄到的像作为电子数据取入。首先,数据取得部41在内部具有暂时存储区域,将从拍摄装置3传送的钢板P表面的拍摄数据顺次地向暂时存储区域缓冲。并且,数据取得部41在拍摄装置3为区域传感器或CCD且拍摄数据为规定的大小的二维图像的情况下,将二维图像数据向图像校正部42输出。而且,数据取得部41在拍摄装置3为线传感器且拍摄数据为一维数据的情况下,形成为使规定的长度的拍摄数据结合的二维图像数据而向图像校正部42输出。图像校正部42对于数据取得部41输出的二维图像数据,进行边缘检测、亮度不均的校正(浓淡校正)、亮度调整等图像校正。

接下来,缺陷检测部43使用预先基于钢板P的材料、种类等而确定的阈值,在各二维图像数据中将亮度值为阈值以上的点提取作为缺陷候补部,进行计算其宽度、长度、位置、亮度的最大值、最小值、平均亮度等特征量的缺陷检测处理(步骤S32)。

然后,缺陷判定部44基于通过步骤S3算出的各缺陷候补部的特征量,进行有害/无害的判定、判定大小、缺陷的类别及严重度等的缺陷判定处理(步骤S33)。需要说明的是,以下,将缺陷候补部中的判定为缺陷判定部44有害的缺陷候补部称为缺陷部。而且,缺陷部的数据至少包括缺陷的类别、严重度、大小、坐标。

进而,缺陷图案制成部45根据缺陷判定部44判定出的缺陷部数据,制成表示缺陷部的二维分布的缺陷图案(步骤S34)。

然后,单数个或复数个成为判定对象的缺陷图案向钢材判定部5传递。

然后,钢材判定部5的尺寸变换部51进行将各缺陷图案的图像尺寸变换成与示教图像相同的图像尺寸的尺寸变换处理(步骤S35)。具体而言,在成为判定对象的缺陷图案的图像尺寸比预先设定的同一图像尺寸大的情况下,尺寸变换部51减小图像尺寸而成为与同一图像尺寸相同。反之,成为判定对象的缺陷图案的图像尺寸比预先设定的同一图像尺寸小的情况下,增大图像尺寸而成为与同一图像尺寸相同。需要说明的是,与示教图像相同的图像尺寸是制成学习完成模型时的示教图像的缺陷图案的图像尺寸,根据示教图像的缺陷图案的图像尺寸而预先设定。换言之,在步骤S35中,在制成使用的学习完成模型时选择的示教图像及测试图像的缺陷图案的同一图像尺寸也使用于判定图像的缺陷图案。

通过以上说明的处理,制成与示教图像及测试图像相同的图像尺寸的缺陷图案即判定图像。判定图像是成为判定周期性缺陷的有无的对象的图像,因此在该时间点,周期性结果的有无未知(未判定)。并且,判定图像通过之后的处理,利用学习完成模型来判定周期性的有无。

钢材判定部5的尺寸变换部51与前述的步骤S2、S4中的尺寸变换部61的功能相同,但是作用不同。步骤S35中的尺寸变换部51的作用是将互不相同的图像尺寸的缺陷图案固定为预先设定的同一图像尺寸并进行统一。在前述的尺寸变换部61的情况下,作用是为了提高学习完成模型的正确回答率,将固定为特定的同一图像尺寸的示教图像和测试图像向其他的同一图像尺寸变更。

返回图18,钢材判定部5进行对于判定图像的判定(步骤S23)。判定是钢材判定部5进行的处理,在此,是判定钢板P的周期性缺陷的有无等的处理。

图20是表示图18的判定步骤S23的流程图。图20中的周期性缺陷判定部52进行对判定图像是否为具有周期性缺陷的图像进行判定的周期性缺陷判定处理(步骤S41)。具体而言,周期性缺陷判定部52将判定图像向学习完成模型输入,输出与周期性缺陷的有无相关的值。与周期性缺陷的有无相关的值是判定图像为没有周期性缺陷的图像的概率x%及判定图像为具有周期性缺陷的图像的概率y%。

接下来,判定部53进行判定处理,该判定处理进行对于判定图像的判定(步骤S42)。判定处理是判定部53进行的处理,在此,是判定部53判定判定图像是否为具有周期性缺陷的图像的处理。具体而言,判定部53基于周期性缺陷判定部52算出的概率x,对判定图像是否为没有周期性缺陷的图像进行判定(步骤S421)。判定部53在周期性缺陷判定部52算出的判定图像是没有周期性缺陷的图像的概率x%为阈值以上的情况下,将判定图像判定为没有周期性缺陷的图像,在概率x%比阈值小的情况下,将判定图像判定为具有周期性缺陷的图像。需要说明的是,判定部53也可以使用周期性缺陷判定部52算出的概率y、或者概率x及概率y这双方,对判定图像是否为没有周期性缺陷的图像进行判定。

返回图18,钢材判定部5通过例如在显示部55显示判定结果或将判定结果存储于存储装置,来输出判定结果(步骤S24),结束一连串的处理。

根据以上说明的钢材的表面缺陷检测方法,通过使用学习完成模型(或分类器,在进一步被限定的情况下为卷积神经网络系统),即使在钢板P发生蛇行的情况下,也不用依靠人的目视而能够自动且高精度地判定周期性缺陷的有无。

接下来,说明现有技术与本发明的钢材的表面缺陷检测方法的比较结果。图21是表示包含周期性缺陷的缺陷图案的一例的图。图21(a)~(c)都是包含周期性缺陷的缺陷图案,通过钢材的表面缺陷检测方法及现有技术都判定为包含周期性缺陷。

图22是表示不包含周期性缺陷的缺陷图案的一例的图。图22(a)、(b)都是不包含周期性缺陷的缺陷图案,在钢材的表面缺陷检测方法中,判定为不包含周期性缺陷,在现有技术中,判定为包含周期性缺陷。即,钢材的表面缺陷检测方法可以验证能够检测在现有技术中无法检测的周期性缺陷的情况。

需要说明的是,也可以设为使用上述的钢材的表面缺陷检测方法,检测钢材的表面的周期性缺陷,根据其检测结果来控制制造条件,由此制造钢材的钢材的制造方法。表面缺陷检测方法以外的钢材的制造方法可以利用公知的方法或已存的方法。作为制造条件的控制,例如,对可认为周期性缺陷的原因的轧制辊或传送用的辊进行清洗或更换。其结果是,能够快速地发现周期性缺陷,能够防止制造的钢材的品质的下降。在钢材之中,在制造钢板特别是长条的钢板即钢带的情况下,防止由于在长的范围容易产生的周期性缺陷而产品品质较大地受损的情况的效果显著。

〔钢材的合格与否判定方法〕

接下来,参照图23,详细说明使用了制成的学习完成模型的钢材的合格与否判定方法。在钢板P的合格与否判定方法中,取代图20所示的步骤S42而进行图23所示的S42的处理。步骤S21、S22及S24的处理是与上述的处理同样的处理,因此省略说明。

图23是表示图18的判定步骤S23的流程图。如图23所示,步骤S41、S421的处理是与上述的处理同样的处理,因此省略说明。在步骤S42中,判定部53判定与判定图像对应的钢板P是否合格(步骤S422)。判定部53在将判定图像判定为无周期性缺陷的图像的情况下,将与该判定图像对应的钢板P判定为合格,在将判定图像判定为具有周期性缺陷的图像的情况下,将与该判定图像对应的钢板P判定为不合格。

需要说明的是,也可以设为使用上述的钢材的合格与否判定方法来判定钢材的合格与否,根据其判定结果来控制制造条件,由此制造钢材的钢材的制造方法。合格与否判定方法以外的钢材的制造方法可以利用公知的方法或已存的方法。作为制造条件的控制,例如,对可认为判定不合格的原因的轧制辊或传送用的辊进行清洗或更换。其结果是,能够快速地发现由于具有周期性缺陷而判定为不合格的钢材,能够防止制造的钢材的品质的下降。在钢材之中,在制造钢板特别是作为长条的钢板的钢带的情况下,防止由于在长的范围容易产生的周期性缺陷而产品品质较大地受损的情况的效果显著。

〔钢材的合格与否判定方法的变形例1〕

图24是表示图18的判定步骤S23的流程图。如图24所示,步骤S41的处理是与上述的处理同样的处理,因此省略说明。在步骤S42中,判定部53基于周期性缺陷判定部52算出的概率x及概率y,判定与判定图像对应的钢板P是否合格(步骤S423)。判定部53在周期性缺陷判定部52算出的判定图像是无周期性缺陷的图像的概率x%为A%以上的情况下(步骤S423:是),将与该判定图像对应的钢板P判定为合格,在概率x%比A%小的情况下(步骤S423:否),将与该判定图像对应的钢板P判定为不合格。这样,也可以不用进行判定图像是否为无周期性缺陷的图像的判定而直接判定钢板P的合格与否。

(实施方式2)

图25是表示本发明的实施方式2的钢材判定系统的结构的示意图。如图25所示,在实施方式2的钢材判定系统1中,钢材判定部5具备缺陷混入率计算部54。照明装置2、拍摄装置3、图像处理部4、钢材判定部5、机器学习部6、数据取得部41、图像校正部42、缺陷检测部43、缺陷判定部44、缺陷图案制成部45、尺寸变换部51、61、周期性缺陷判定部52、判定部53、显示部55、65、模型制成部62、及正确回答率算出部63与实施方式1中说明的结构相同,因此省略说明。

〔钢材的合格与否判定方法的变形例2〕

图26是表示图18的判定步骤S23的流程图。如图26所示,步骤S41、S421的处理是与上述的处理同样的处理,因此省略说明。而且,在图26的最初的处理中,箭头记载为两个,但是这表示可以并行地进行步骤S41的处理和步骤S43的处理的情况。

在步骤S43中,缺陷混入率计算部54进行算出缺陷混入率的缺陷混入率判定处理。缺陷混入率是基于缺陷图案中的每单位面积的缺陷部的个数而算出的值。

在步骤S424中,在判定部53将判定图像对应的钢板P判定为合格的情况下(步骤S424:是),判定部53判定与该判定图像对应的缺陷图案的缺陷混入率是否为Z%以下(步骤S425)。在判定部53判定为缺陷混入率为Z%以下的情况下(步骤S425:是),判定部53将与该判定图像对应的钢板P判定为合格。另一方面,在判定部53判定为缺陷混入率比Z%大的情况下(步骤S425:否),判定部53将与该判定图像对应的钢板P判定为不合格。

〔钢材的合格与否判定方法的变形例3〕

另外,作为变形例3,也可以取代图26的步骤S421和S424而使用图24的步骤S423。即,在步骤S423中,判定部53对于判定为无周期性缺陷的图像的概率x%为A%以上(步骤S423:是)的判定图像,进入步骤S425,将与判定为概率x%比A%小(步骤S423:否)的判定图像对应的钢板P判定为不合格。在该情况下,减少一步骤量的处理,因此能够期待能更迅速地进行处理的情况。

需要说明的是,也可以设为使用上述的钢材的合格与否判定方法来判定钢材的合格与否,根据其判定结果来控制制造条件,由此制造钢材的钢材的制造方法。合格与否判定方法以外的钢材的制造方法可以利用公知的方法或已存的方法。作为制造条件的控制,例如,对可认为判定不合格的原因的轧制辊或传送用的辊进行清洗或更换。其结果是,能够快速地发现由于具有周期性缺陷而判定为不合格的钢材,能够防止制造的钢材的品质的下降。在使用上述的变形例1~3的情况下,还能够判断是否需要立即进行轧制辊或传送用辊的清洗或更换。其结果是,能够进行更有效的控制,例如,能够立即抑制无法允许的缺陷的产生等。在钢材之中,在制造钢板特别是作为长条的钢板的钢带的情况下,防止由于在长的范围容易产生的周期性缺陷而产品品质较大受损的情况的效果显著。

根据以上说明的钢材的合格与否判定方法,不仅根据周期性缺陷的有无,而且根据周期性缺陷的混入率而能够判定钢板P的合格与否。

〔钢材的等级判定方法〕

接下来,参照图27,详细说明使用了制成的学习完成模型的钢材的等级判定方法。在钢板P的等级判定方法中,取代图26所示的步骤S42而进行图27所示的S42的处理。步骤S21、S22及S24的处理是与上述的处理同样的处理,因此省略说明。

图27是表示图18的判定步骤S23的流程图。如图27所示,步骤S41、S43、S421的处理是与上述的处理同样的处理,因此省略说明。

在步骤S424中,在判定部53将判定图像对应的钢板P判定为合格的情况下(步骤S424:是),判定部53判定与该判定图像对应的缺陷图案的缺陷混入率是否为Z1%以下(步骤S426)。在判定部53判定为缺陷混入率为Z1%以下的情况下(步骤S426:是),判定部53判定与该判定图像对应的缺陷图案的缺陷混入率是否为Z2%以下(步骤S427)。在判定部53判定为缺陷混入率为Z2%以下的情况下(步骤S427:是),判定部53判定与该判定图像对应的缺陷图案的缺陷混入率是否为Z3%以下(步骤S428)。在判定部53判定为缺陷混入率为Z3%以下的情况下(步骤S428:是),判定部53判定为与该判定图像对应的钢板P的等级为1级。

在步骤S428中,在判定部53判定为缺陷混入率比Z3%大的情况下(步骤S428:否),判定部53判定为与该判定图像对应的钢板P的等级为2级。

在步骤S427中,在判定部53判定为缺陷混入率比Z2%大的情况下(步骤S427:否),判定部53判定为与该判定图像对应的钢板P的等级为3级。

在步骤S426中,在判定部53判定为缺陷混入率比Z1%大的情况下(步骤S426:否),判定部53将与该判定图像对应的钢板P判定为不合格。

根据以上说明的钢材的等级判定方法,能够将具有周期性缺陷的钢板P设为不合格,并将没有周期性缺陷的钢板P基于缺陷混入率来分类等级。在该情况下,由于也是使用学习完成模型(或分类器,在进一步被限定的情况下为卷积神经网络系统),因此即使在钢板P蛇行的情况下,也能够高精度地判定周期性缺陷的有无,能够判定钢板P的等级。

需要说明的是,在上述的钢材的等级判定方法中,在步骤S421之后,在步骤S422中判定了钢板P的合格与否,但是并不局限于此。也可以在步骤S421之后,判定部53通过步骤S424判定判定图像的周期性缺陷的有无,在判定为无周期性缺陷的情况下,将步骤S426~428的钢板P的等级的分类汇总地一次进行,在判定为具有周期性缺陷的情况下,将钢板P判定为不合格。

另外,在上述的钢材的等级判定方法中,说明了判定部53顺序进行步骤S424、S426、S427、S428的处理的处理,但是并不局限于此。判定部53也可以具有当被输入周期性缺陷的有无及缺陷混入率时输出钢板P的合格与否及等级的表格。在该情况下,如果向判定部53输入周期性缺陷的有无及缺陷混入率,则判定部53在钢板P合格且缺陷混入率为Z3以下的情况下输出1级的判定,在钢板P合格并且缺陷混入率比Z3大且为Z2以下的情况下输出2级的判定,在钢板P合格并且缺陷混入率比Z2大且为Z1以下的情况下输出3级的判定,在钢板P不合格或缺陷混入率比Z1大的情况下输出不合格的判定。

另外,作为变形例,也可以取代图27的步骤S421和S424而使用图24的步骤S423。即,在步骤S423中,判定部53对于被判定为无周期性缺陷的图像的概率x%为A%以上(步骤S423:是)的判定图像,进入步骤S426,将与被判定为概率x%比A%小(步骤S423:否)的判定图像对应的钢板P判定为不合格。在该情况下,减少一步骤量的处理,因此能够期待更迅速地进行处理的情况。

需要说明的是,钢材的制造方法可以具备使用上述的钢材的等级判定方法来判定钢材的等级,使用其判定结果,按照等级来分类钢材的分类步骤。等级判定方法以外的钢材的制造方法可以利用公知的方法或已存的方法。在该情况下,能够将钢材按等级分类。其结果是,能够将虽然种类相同但是等级不同的钢材向适当的用途目的地出货。即使在该情况下,只要不合格的钢材超过任意的量,就可以控制制造条件。作为制造条件的控制,例如,对可认为判定不合格的原因的轧制辊或传送用的辊进行清洗或更换。其结果是,能够快速地发现由于具有周期性缺陷而判定为不合格的钢材,能够防止制造的钢材的品质的下降。在钢材之中,在制造钢板特别是作为长条的钢板的钢带的情况下,防止由于在长的范围容易产生的周期性缺陷而产品品质较大受损的情况的效果显著。

需要说明的是,钢材的制造设备可以具备上述的钢材判定系统。钢材判定系统以外的钢材的制造设备可以利用公知的设备或已存的设备。其结果是,能够快速地发现具有周期性缺陷的钢材,能够防止制造的钢材的品质的下降。而且,上述的钢材判定系统设置于具备至少一个以上的辊的制造设备的情况下,能得到更高的效果。原因是,除了上述效果之外,关于对可认为钢材产生周期性缺陷的原因的轧制辊或传送用的辊进行清洗或更换的时期,基于具有周期性缺陷的钢材的产生量也能够容易判断。在这些钢材的制造设备之中,在钢板的制造设备,特别是制造作为长条的钢板的钢带的设备的情况下,能得到特别高的效果。原因是,除了上述效果之外,防止由于在长的范围容易产生的周期性缺陷而产品品质较大受损的情况的效果显著。

以上,说明了适用通过本发明者们作出的发明的实施方式,但是没有通过作为本实施方式的本发明的公开的一部分的记述及附图来限定本发明。即,基于本实施方式而由本领域技术人员等作出的其他的实施方式、实施例及运用技术等全部包含于本发明的范畴。

标号说明

1 钢材判定系统

2 照明装置

3 拍摄装置

4 图像处理部

5 钢材判定部

6 机器学习部

41 数据取得部

42 图像校正部

43 缺陷检测部

44 缺陷判定部

45 缺陷图案制成部

51、61 尺寸变换部

52 周期性缺陷判定部

53 判定部

54 缺陷混入率计算部

55、65 显示部

62 模型制成部

63 正确回答率算出部

71 输入层

72 中间层

73 输出层

D 周期性缺陷

P 钢板。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号