知识发现装置、知识发现程序和知识发现方法

摘要

一种知识发现装置，使用多对图像数据和与图像数据对应的属性数据，分析图像的特征量和属性数据之间的关系，发现有关图像的特征量和属性数据之间的关系的知识，具有：特征量提取部，其使用小波变换从金属部件的表面图像数据中提取图像上的每个位置的多个频率成分的纵向、横向和斜向的亮度变化程度，作为特征量；关系分析部，其把截止到金属部件发生故障时的经过时间作为属性数据，算出属性数据和特征量的相关值；和规则生成部，其使用相关值小于等于预定相关值(例如[－0.7])的特征量内容和属性数据内容，生成关联规则。

说明书

技术领域

本发明涉及使用多对图像和与图像对应的属性数据来分析图像的特征量和属性数据之间的关系，发现有关图像的特征量和属性数据之间关系的知识的知识发现装置、知识发现程序和知识发现方法，特别涉及能够从特征位于局部区域的像素值分布图形中的图像和特征位置及大小不明确的图像中发现知识的知识发现装置、知识发现程序和知识发现方法。

背景技术

近年来，在制造业的设计和检查、零售业的销售等用途中使用图像。例如，作为在制造业的检查中的应用，有如下的应用：定期拍摄工作中的设备的金属部件，在设备发生故障时，观察从发生故障时起之前的一定时间内的图像上描画的金属部件的表面颜色和龟裂，由此发现某部位变为特定颜色时、或某部位产生龟裂时的故障发生率。另外，作为在零售业的销售等中的应用，有如下的应用：分析在便利店等零售店中拍摄了商品的存货分配状态的图像和与商品销售额相关的数值数据之间的关系，由此发现提高销售额的存货分配的方法。

以往，这种作业采用下述方法，对人为发生故障的比率和商品销售额等的属性数据与图像进行比较，发现图像上的局部区域特征和位置与属性数据之间的关系，该方法具有作业劳力大的缺点。因此，提出利用计算机自动算出图像上的局部区域特征和位置与属性数据之间的关系的方法(例如，参照非专利文献1)。

该方法以发现对应于人的特定动作的脑部活动部位为目的，使用人进行某动作时的脑部的f-MRI断层图像数据组，分析纵横分割各图像时处于激活状态的位置，自动发现对应于该动作的脑的部位。

非专利文献1

M.Kakimoto，C.Morita，and H.Tsukimoto：Data Mining fromFunctional Brain Images，In Proc.of ACM MDM/KDD2000，pp.91-97(2000).

非专利文献2

Yusuke Uehara，Susumu Endo，Shuichi Shiitani，Daiki Masumoto，andShigemi Nagata：”A Computer-aided Visual Exploration System forKnowledge Discovery from Images”，In Proc.of ACM MDM/KDD2001，pp.102-109(2001).

非专利文献3

上原祐介、遠藤進、椎谷秀一、增本大器、長田茂美：“仮想空間での情報構造表現に基づく画像群かぅの知識発見支援システム”，人工知能学会研究会資料SIG-FAI/KBS-J-40，pp.243-250(2001).

但是，在该方法中，作为属性数据，把是否进行特定动作的二值数据设为对象，因而例如在金属设备部件的故障预测中，具有在需要分析图像数据上的特定位置区域的像素值分布图形时不能使用的问题。

并且，在该方法中，把以规定大小分割图像时的分割图像作为单位进行分析，因而例如像商品的存货分配图像的分析那样，与属性数据有关系的区域大小因情况而各种各样，具有不能适用于不能预先确定区域大小的用途。

本发明就是为了解决上述以往技术中的问题而提出的，其目的在于，提供一种从特征位于局部区域的像素值分布图形中的图像和特征位置及大小不明确的图像中也能发现知识的知识发现装置、知识发现程序和知识发现方法。

发明内容

为了解决上述课题并达到上述目的，本发明是一种知识发现装置，其使用多对图像数据和与该图像数据对应的属性数据，分析图像的特征量和属性数据之间的关系，发现有关该关系的知识，其特征在于，具有：特征量提取单元，其根据各图像数据生成多重分辨率处理后的图像数据，从该多重分辨率处理后的图像数据中提取特征量；和关系分析单元，其分析利用上述特征量提取单元提取的特征量和属性数据之间的关系。

并且，本发明是一种知识发现程序，使用多对图像数据和与该图像数据对应的属性数据，分析图像的特征量和属性数据之间的关系，发现有关该关系的知识，其特征在于，使计算机执行下述步骤：特征量提取步骤，根据各图像数据生成多重分辨率处理后的图像数据，从该多重分辨率处理后的图像数据中提取特征量；和关系分析步骤，分析通过上述特征量提取步骤提取的特征量和属性数据之间的关系。

并且，本发明的知识发现方法，使用多对图像数据和与该图像数据对应的属性数据，分析图像的特征量和属性数据之间的关系，发现有关该关系的知识，其特征在于，包括：特征量提取步骤，根据各图像数据生成多重分辨率处理后的图像数据，从该多重分辨率处理后的图像数据中提取特征量；和关系分析步骤，分析通过上述特征量提取步骤提取的特征量和属性数据之间的关系。

根据本发明，根据各图像数据生成多重分辨率处理后的图像数据，从多重分辨率处理后的图像数据中提取特征量，分析所提取的特征量和属性数据之间的关系，所以从特征位于局部区域的像素值分布图形中的图像和特征位置及大小不明确的图像中也能发现知识。

附图说明

图1是表示本实施方式1的知识发现装置的结构的功能方框图。

图2是表示图像数据存储部存储的图像数据的一例的图。

图3是表示图像数据存储部存储的属性数据的一例的图。

图4是用于说明由特征量提取部进行的图像数据的多重分辨率处理的说明图。

图5是用于说明图像数据的小波变换的说明图。

图6是表示小波变换小波变换结果的显示例的图。

图7是表示本实施方式1的知识发现装置的处理过程的流程图。

图8是表示拍摄了设备的金属部件表面的图像的一例的图。

图9是表示显示知识发现装置从图8所示的图像中发现的知识的例的图。

图10是表示本实施方式2的知识发现装置的结构的功能方框图。

图11是用于说明图10所示的特征量提取部进行的图像数据的多重分辨率处理的图。

图12是表示显示本实施方式2的知识发现装置发现的知识的例的图。

图13是表示执行本实施方式1和2的知识发现程序的计算机系统的图。

图14是表示图13所示的主体部的结构的功能方框图。

具体实施方式

以下，参照附图详细说明本发明的知识发现装置、知识发现程序和知识发现方法的优选实施方式。另外，在本实施方式1中，说明把本发明的知识发现装置适用于设备的金属部件的故障预测的情况，在本实施方式2中，说明把本发明的知识发现装置适用于零售店的存货分配的情况。

实施方式1

首先，对本实施方式1的知识发现装置的结构进行说明。图1是表示本实施方式1的知识发现装置的结构的功能方框图。如该图所示，该知识发现装置100具有：特征量提取部110；关系分析部120；规则生成部130；显示部140；图像数据存储部150；属性数据存储部160；和控制部170。

特征量提取部110是对存储在图像数据存储部150中的图像数据进行多重分辨率处理，并从多重分辨率处理后的图像数据中提取特征量的处理部。具体来讲，该特征量提取部110对存储在图像数据存储部150中的金属部件的图像数据实施小波变换，把图像上的各位置的多个频率的纵向、横向及斜向的亮度变化程度作为特征量提取。

关系分析部120是使用由特征提取部110从多重分辨率处理图像数据中提取的特征量和存储在属性数据存储部160中的属性数据，分析特征量和属性数据之间的关系的处理部。具体来讲，该关系分析部120算出特征量即图像上的各位置的多个频率的纵向、横向及斜向的亮度变化程度、和属性数据即截止到发生故障的经过时间之间的相关值，分析特征量和属性数据之间的关系。另外，有关特征量提取部110和关系分析部120的处理将在后面详细说明。

规则生成部130是根据关系分析部120的分析结果生成与特征量和属性数据之间的关系相关的知识的处理部，具体来讲，生成把特征量的内容作为条件部分、把属性数据的内容作为结论部分的关联规则。

例如，该规则生成部130生成下述关联规则：作为高频的横向亮度变化的程度，如果图像上的右上部出现较大的值，则截止到发生故障的经过时间较短，即如果金属部件表面的右上部分出现较细的纵纹龟裂，则在较短的时间内设备产生故障的可能性大。

另外，此处是生成把特征量的内容作为条件部分、把属性数据的内容作为结论部分的关联规则，但该规则生成部130也可以生成把属性数据的内容作为条件部分、把特征量的内容作为结论部分的关联规则。

显示部140是在视觉上显示关系分析部120的分析结果、特征量和属性数据之间具有强烈相关的图像上的位置的处理部，也与位置一起显示该位置的相关值。并且，该显示部140也显示规则作成部130作成的关联规则。

图像数据存储部150是存储被提取特征量的图像数据的存储部，此处，存储每隔一定时间拍摄设备的金属部件表面所得的图像数据。图2是表示图像数据存储部150存储的图像数据的一例的图。如该图所示，该图像数据存储部150对应存储用于识别各个图像的图像ID和存储图像数据主体的图像数据存储部150内的地址，作为图像数据。

例如，图像ID是“00001”的图像数据，表示被存储在图像数据存储部150内的“16A001”地址中，图像ID是“00002”的图像数据，表示被存储在图像数据存储部150内的“16A282”地址中。

属性数据存储部160是存储用于分析与图像的特征量的关系的属性数据的存储部，此处，把拍摄了图像的金属部件截止到产生故障的经过时间存储为属性数据。图3是表示属性数据存储部160存储的属性数据的一例的图。如该图所示，该属性数据存储部160对应存储图像ID和经过时间，作为属性数据。

例如，图像ID是“00001”的图像，表示在拍摄该图像并且经过时间“012681”后金属部件产生故障，图像ID是“00002”的图像，表示在拍摄该图像并且经过时间“013429”后金属部件产生故障。

控制部170是控制整个知识发现装置100的处理部，具体来讲，通过进行各处理部之间的控制交接及各处理部和存储部的数据授受，使知识发现装置100作为一个装置发挥作用。

下面，详细说明特征量提取部110的处理。图4是用于说明特征量提取部100进行的图像数据的多重分辨率处理的图。如该图所示，该特征量提取部110根据原来的图像数据生成将纵横长度分别分阶段地缩小为二分之一的缩小图像，进行多重分辨率处理。另外，此处，分三个阶段进行缩小，但该阶段可以是任意数量的阶段。

并且，特征量提取部110对所生成的各阶段的缩小图像实施使用了Haar母函数的小波变换。由此，关于各缩小图像，获得图像上的各位置的纵向亮度变化程度、横向亮度变化程度和斜向亮度变化程度作为特征量。

图5是用于说明图像数据的小波变换的图。如该图所示，通过对图像数据实施小波变换，可以获得表示纵向亮度变化程度、横向亮度变化程度和斜向亮度变化程度的数值排列。

此处，对象图像数据在右上部具有纵向亮度变化程度较大的区域、在左下部具有横向亮度变化程度较大的区域，所以在表示纵向亮度变化程度的数值排列中，对应于图像上的右上部位置的数值的值较大，在表示横向亮度变化程度的数值排列中，对应于图像上的左下部位置的数值的值较大。并且，在表示斜向亮度变化程度的数值排列中，对应于图像上的右上部和左下部位置的数值的值为中等大小。

这样，该特征量提取部110通过对所生成的各阶段的缩小图像实施小波变换，在从在小范围内细微变化的高频成分到在大范围内缓慢变化的低频成分之间，可以分阶段地获得纵向、横向和斜向的各自亮度变化，作为特征量。即，该特征量提取部110可以从图像数据中提取特定区域的像素的亮度分布图形作为特征量。

另外，图6是表示小波变换结果的显示例的图。在图6中，HL是表示横向、LH是表示纵向、HH是表示斜向的亮度变化程度的区域。并且，各个下标数字表示缩小阶段，缩小阶段的阶段越大其数字越小。

下面，详细说明关系分析部120的处理。关系分析部120针对由特征量提取部110从存储在图像数据存储部150的图像数据组中提取的、表示多个频率成分的纵向、横向和斜向的亮度变化程度的数值，使图像上的每个位置的数值组和表示截止到故障发生时的时间长度的数值组相对应，并算出相关值。

例如，第i号图像数据的第n阶段缩小图像的位置(x、y)的纵向(T)亮度变化程度为C_Tnxyi，且对应于第i个图像数据的截止到故障发生时的经过时间为T_i时，该关系分析部120使用下述算式(1)求出第n阶段缩小图像的位置(x、y)的纵向(T)亮度变化程度和截止到故障发生时的经过时间之间的相关值Corr_Txy。

$>>>Corr>Txy>>=>>>>\Sigma >>i>=>1>>m>>>(>>C>Tnxyi>>-ver>>>C>Tnxy>>‾>>)>>>(>>T>i>>-ver>>T>‾>>)>>>>>\Sigma >>i>=>1>>m>>>(>>C>Tnxyi>>-ver>>>C>Tnxy>>‾>>)>>>\Sigma >>i>=>1>>m>>>(>>T>i>>-ver>>T>‾>>)>\; >>·>·>·>>(>1>)>>>s>$

m：图像数据数

第n阶段缩小图像的位置(x、y)的纵向(T)亮度变化程度的整个图像数据的平均值

T：整个经过时间的平均值

此处，利用算式(1)计算的相关值的范围是[-1.0，1.0]，可以说值越大就具有越强的正相关，值越小就具有越强的负相关。因此，在图像上某位置的某频率成分的某方向的亮度变化程度(特征量)和截止到发生故障时的经过时间(属性数据)之间具有较强的负相关关系时，如果该亮度变化程度较大，则截止到发生故障时的经过时间较短的可能性大，在短时间内产生故障的可能性大。

这样，该关系分析部120通过对图像上的各位置，算出多个频率成分的纵向、横向和斜向的亮度变化程度与截止到发生故障时的经过时间的相关值，可以发现有关金属部件表面的特定区域的亮度分布图形和金属部件产生故障的可能性的关系的知识。

下面，说明本实施方式1的知识发现装置100的处理步骤。图7是表示本实施方式1的知识发现装置100的处理步骤的流程图。如该图所示，该知识发现装置100的特征量提取部110对存储在图像数据存储部150中的图像数据组进行多重分辨率处理(步骤S701)，对通过多重分辨率处理得到的各图像实施使用了Haar母函数的小波变换(步骤S702)。

即，特征量提取部110对存储在图像数据存储部150中的所有图像数据，按照图像上的各位置算出多个频率成分的纵向、横向和斜向的亮度变化程度，作为特征量。

并且，关系分析部120对由特征量提取部110提取的表示多个频率成分的纵向、横向和斜向的亮度变化程度的数值，使图像上的每个位置的数值组和表示截止到故障发生时的时间长度的数值组相对应，并算出相关值(步骤S703)。

并且，规则生成部130使用算出小于等于预定相关值(例如[-0.7])的相关值的特征量内容即图像上某位置的某频率成分的某方向的亮度变化程度、和属性数据的内容即截止到故障发生时的时间长度，生成关联规则(步骤S704)。

并且，显示部140显示算出小于等于预定相关值(例如[-0.7])的相关值的频率成分、亮度变化的方向和图像上的位置、以及规则生成部130生成的关联规则(步骤S705)。

下面，说明本实施方式1的知识发现装置100发现的知识的显示例。图8是表示拍摄了设备的金属部件表面的图像的一例的图，图9是表示显示知识发现装置100从图8所示的图像中发现的知识的例的图。

图8所示的图像在金属部件表面的右上部分具有细微的纵纹龟裂，在左下半部分具有间隔较大的倾斜龟裂。知识发现装置100在处理该图像数据时，例如，在图像右上部的高频的横向亮度变化程度较大这一特征量内容、和经过时间较短这一属性数据内容之间，发现较强的负相关。

并且，知识发现装置100如图9所示，显示下述情况作为发现的知识：显示缩小阶段最小的HL区域、即表示高频的横向亮度变化程度的区域的右上部是与截止到发生故障时的经过时间负相关强的区域。

如上所述，在本实施方式1中，特征量提取部110使用小波变换从金属部件的表面图像数据中提取图像上的每个位置的多个频率成分的纵向、横向和斜向的亮度变化程度，作为特征量，关系分析部120把截止到金属部件发生故障时的经过时间作为属性数据，算出属性数据和特征量的相关值，规则生成部130使用相关值小于等于预定相关值(例如[-0.7])的特征量内容和属性数据内容，生成关联规则，所以像金属部件的表面图像那样，从截止到故障发生时的特征位于特定区域的亮度分布图形中的图像也能发现知识。

实施方式2

可是，在上述实施方式1中，说明了使用小波变换进行图像数据的多重分辨率处理和多重分辨率图像中的特征提取的情况，但是，也可以使用小波变换以外的方法进行图像数据的多重分辨率处理和多重分辨率图像中的特征提取。因此，在本实施方式2中，说明进行图像数据的多重分辨率处理和多重分辨率图像中的特征提取的其它方法。

另外，在本实施方式2中，说明根据拍摄了便利店等零售店的商品存货分配状态的图像数据和商品销售额数据，发现货架上的商品包装的颜色特征与位置和销售额之间的关系，作为关联规则。

图10是表示本实施方式2的知识发现装置的结构的功能方框图。如该图所示，该知识发现装置1000具有：提取特征量的特征量提取部1010；分析特征量和属性数据之间的关系的关系分析部1020；显示分析结果的显示部1030；存储拍摄了存货分配方式和陈列商品不同的各种方式的存货分配状态而得到的图数据的图像数据存储部1040；按照每个陈列商品对应存储销售额数据和图像上的位置的属性数据存储部1050；和进行整体控制的控制部1060。

并且，图11是用于说明图10所示的特征量提取部1010进行的图像数据的多重分辨率处理的说明图。如该图所示，该特征量提取部1010分阶段地纵横对半地分割图像，算出各个阶段的每个分割图像的像素颜色的平均值，作为特征量。

并且，关系分析部1020按照各分割阶段的每个分割区域，使由特征量提取部1010作为特征量而算出的颜色的平均值组与销售额数值组对应，并且使用数据挖掘(data mining)方法，在把销售额大于等于规定销售额作为结论部分时，生成满足所给予的支持度和可信度的关联规则。

此处，所说支持度指与所生成的关联规则相关的数据的比率，所说可信度指所生成的关联规则的信赖度。

结果，例如，在获得图11的第二阶段分割的左上区域中的条件部分为利用RGB值表示的R值为“250”～“255”、G值为“0”～“10”、B值为“0”～“5”(R、G、B值的范围是[0，255])的范围内的一般被认为是红色的颜色的关联规则的情况下，如图12所示，显示部1030在对应的图像上的位置以红色显示。并且，显示部1030把分析结果得到的关联规则与支持度和可信度一起提示给使用者。

这样，知识发现装置1000可以提示使用者：如果把放置在与用红色显示的图像上的区域对应的货架位置的商品包装颜色设为红色，则销售额提高。

如上所述，在本实施方式2中，特征量提取部1010分阶段地对半地分割图像，按照各阶段的每个分割图像算出像素的颜色平均值作为特征量，关系分析部1020使颜色的平均值组与各分割区域的销售额数据的数值组对应，使用数据挖掘方法生成关联规则，所以像商品的存货分配图像那样，从特征部位或大小不明确的图像中也能发现有关特征量和属性数据之间的关系的知识。

另外，在本实施方式1和2中，说明了知识发现装置，但通过利用软件来实现该知识发现装置具有的结构，可以获得具有相同功能的知识发现程序。因此，对执行该知识发现程序的计算机系统进行说明。

图13是表示执行本实施方式的知识发现程序的计算机系统的图。如该图所示，该计算机系统200具有：主体部201；根据来自主体部201的指示，在显示画面202a上显示信息的显示器202；用于向该计算机系统200输入各种信息的键盘203；用于指定显示器202的显示画面202a上的任意位置的鼠标204；连接在局域网(LAN)206或广域网(WAN)上的LAN接口；和连接在因特网等公共线路207上的调制解调器205。此处，LAN206将其它计算机系统(PC)211、服务器212、打印机213等与计算机系统200相连接。

并且，图14是表示图13所示的主体部201的结构的功能方框图。如该图所示，该主体部201具有：CPU 221；RAM 222；ROM 223；硬盘驱动器(HDD)224；CD-ROM驱动器225；FD驱动器226；I/O接口227；和LAN接口228。

并且，在该计算机系统200中执行的知识发现程序被存储在软盘(FD)208、CD-ROM 209、DVD盘、光磁盘、IC卡等携带型存储介质中，从这些存储介质中读出，并安装在计算机系统200上。

或者，该知识发现程序被存储在通过LAN接口228连接的服务器212的数据库、其它计算机系统(PC)211的数据库、通过公共线路207连接的其它计算机系统的数据库等中，从这些数据库中读出并安装在计算机系统200上。

并且，所安装的知识发现程序被存储在HDD 224中，使用RAM 222、ROM 223等，通过CPU 221来执行。

如上所述，根据本发明，根据各图像数据生成多重分辨率处理后的图像数据，从多重分辨率处理后的图像数据中提取特征量，分析所提取的特征量和属性数据之间的关系，所以能够发挥从特征位于局部区域的像素值分布图形中的图像和特征位置及大小不明确的图像中也能发现知识的效果。

如上所述，本发明的知识发现装置、知识发现程序和知识发现方法，适合于从特征位于像素值分布图形中的图像和特征位置及大小不明确的图像中发现知识的情况。